近幾年來，隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。大數(shù)據(jù)技術(shù)快速火熱，大數(shù)據(jù)開發(fā)工程師更是供不應(yīng)求。本書是一本Hadoop Spark快速上手的書，從Hadoop生態(tài)系統(tǒng)和Spark生態(tài)系統(tǒng)全面原理解析和實戰(zhàn)操作每一個組件，每一個知識點都講得十分細(xì)致，讓讀者能夠輕松地跨入大數(shù)據(jù)開發(fā)工程師的大門。

大數(shù)據(jù)工程師薪資

近幾年大數(shù)據(jù)崗位尤其火熱，大數(shù)據(jù)開發(fā)工程師供不應(yīng)求，市面上大數(shù)據(jù)開發(fā)工程師起步就是8千元，1年工作經(jīng)驗1萬2千元，2年工作經(jīng)驗1萬5千元，3年工作經(jīng)驗2萬以上。根據(jù)每個人自身學(xué)習(xí)能力不同，有人2年就可以達到2萬元以上。

下圖是神州數(shù)碼于2017年6月6日發(fā)布的一則招聘信息。

本書內(nèi)容

全書共12章，分為3個部分，第1部分（第1~7章）講解了Hadoop的原生態(tài)組件，包括Hadoop、ZooKeeper、HBase、Hive環(huán)境搭建與安裝，以及如何對MapReduce、HDFS、ZooKeeper、HBase、Hive進行原理介紹和Apache版本環(huán)境下實戰(zhàn)的操作。第2部分（第8~11章）講解Spark的原生態(tài)組件，包括Spark Core、Spark SQL、Spark Streaming、DataFrame，以及如何對Scala、Spark API、Spark SQL、Spark Streaming、DataFrame進行原理介紹和CDH版本環(huán)境下實戰(zhàn)的操作，其中Flume和Kafka屬于Apache頂級開源項目也放在本篇講解。第3部分（第12章）講解大數(shù)據(jù)項目，包絡(luò)網(wǎng)頁日志離線項目和實時項目，在CDH版本環(huán)境下通過兩個項目將Hadoop和Spark原生態(tài)組件進行整合，一步步帶領(lǐng)讀者實戰(zhàn)大數(shù)據(jù)項目。

本書特色

本書是一本Hadoop Spark的快速入門書籍，以通俗易懂的方式介紹了Hadoop Spark原生態(tài)組件的原理、實戰(zhàn)操作以及集群搭建方面的知識。其中，Hadoop原生態(tài)組件包括：MapReduce、HDFS、ZooKeeper、HBase、Hive；Spark原生態(tài)組件包括：Spark Core、Spark SQL、Spark Streaming、Dataframe；同時包括Apache版本和CDH5版本的Hadoop集群搭建。本書的特點是：注重實戰(zhàn)訓(xùn)練，強調(diào)知識系統(tǒng)性，關(guān)注內(nèi)容實用性。

（1）本書從培訓(xùn)角度對讀者簡述Hadoop Spark中常用組件的原理和實戰(zhàn)操作，讓讀者快速了解組件原理和功能使用。

（2）每一個操作都配有實例代碼或者圖片來幫助理解，每一章的最后還有小節(jié)，以歸納總結(jié)本章的內(nèi)容，幫助讀者對Hadoop Spark原生態(tài)系統(tǒng)有一個大的全局觀。

（3）目前市面上關(guān)于Hadoop的書很多，關(guān)于Spark的書也很多，但是很少有對Hadoop Spark 結(jié)合進行講解。本書首先講解Hadoop Spark原理，接著講解Hadoop Spark原生態(tài)組件的實例操作，最后結(jié)合大數(shù)據(jù)網(wǎng)站日志離線和實時兩個項目融合Hadoop Spark所有生態(tài)系統(tǒng)功能，使讀者對本書有一個由淺入深且快速上手的過程。

本書適合讀者

本書適合Hadoop Spark的初學(xué)者，希望深入了解Hadoop Spark安裝部署、開發(fā)優(yōu)化的大數(shù)據(jù)工程師，希望深入了解Hadoop Spark管理、業(yè)務(wù)框架擴展的大數(shù)據(jù)架構(gòu)師，以及任何對Hadoop Spark相關(guān)技術(shù)感興趣的讀者。

本書代碼、軟件、文檔下載

本書代碼、軟件、文檔下載地址（注意數(shù)字和字母大小寫）如下：

http://pan.baidu.com/s/1cCi0k2

如果下載有問題，請聯(lián)系電子郵箱booksaga@163.com，郵件主題為Hadoop Spark生態(tài)系統(tǒng)與實戰(zhàn)指南。

本書作者

余輝，中國科學(xué)院大學(xué)碩士研究生畢業(yè)，研究方向為云計算和大數(shù)據(jù)。現(xiàn)供職于某上市公司技術(shù)經(jīng)理，并在Oracle OAEC人才產(chǎn)業(yè)集團大數(shù)據(jù)學(xué)院（http://www.oracleoaec.com.cn/）擔(dān)任大數(shù)據(jù)講師。曾在清華大學(xué)電子工程系NGNLab研究室（http://ngn.ee.tsinghua.edu.cn/）擔(dān)任軟件工程師。

已發(fā)表兩篇大數(shù)據(jù)論文：《微博輿情的Hadoop存儲和管理平臺設(shè)計與實現(xiàn)》和《跨媒體多源網(wǎng)絡(luò)輿情分析系統(tǒng)設(shè)計與實現(xiàn)》

博客：http://blog.csdn.net/silentwolfyh

微博：http://weibo.com/u/3195228233

電子郵箱：yuhuiqh2009@163.com

致謝

趕在兒子1歲生日之際，趕在我告別30歲之際，我撰寫《Hadoop Spark生態(tài)系統(tǒng)操作與實戰(zhàn)指南》一書，作為我兒子的生日禮物。感謝父母提供了良好的生活環(huán)境，感謝舅舅、舅媽提供了良好的學(xué)習(xí)平臺，感謝我的老婆、姐姐、姐夫在生活上對我的支持和奉獻。最后，感謝清華工作和學(xué)習(xí)的那些時光，清華六年，我學(xué)會了生存技能、找到了研究方向、培養(yǎng)了生活習(xí)慣。

余 輝

2017年7月