第 1章　Spark導(dǎo)論 1
1.1　認(rèn)識(shí)Spark　1
1.1.1　Spark的演進(jìn)路線　1
1.1.2　Spark的特點(diǎn)　2
1.1.3　Spark與Hadoop的聯(lián)系　3
1.2　Spark的生態(tài)系統(tǒng)　4
1.2.1　Spark Core　5
1.2.2　Spark SQL　5
1.2.3　Spark Streaming　5
1.2.4　Spark MLlib　5
1.2.5　Spark GraphX　5
1.3　Spark運(yùn)行模式　5
1.3.1　Standalone模式　6
1.3.2　Mesos模式　6
1.3.3　YARN模式　6
1.4　Spark架構(gòu)　6
1.4.1　Spark架構(gòu)組成　6
1.4.2　Spark架構(gòu)運(yùn)行流程　7
1.4.3　Spark架構(gòu)特點(diǎn)　7
1.5　Spark應(yīng)用場(chǎng)景　8
1.6　本章小結(jié)　8
1.7　習(xí)題　8
第 2章　Spark環(huán)境搭建與使用　10
2.1　搭建環(huán)境前的準(zhǔn)備　10
2.1.1　Spark的下載　10
2.1.2　Scala的下載　11
2.1.3　Spark的前置配置　13
2.2　Spark集群的部署與操作　14
2.2.1　Spark集群的部署　14
2.2.2　Spark集群的啟動(dòng)與停止　17
2.3　第 一個(gè)Spark程序　19
2.4　Spark Shell的啟動(dòng)　21
2.5　本章小結(jié)　21
2.6　習(xí)題　21
第3章　Scala語言　23
3.1　Scala簡(jiǎn)介　23
3.1.1　什么是Scala　23
3.1.2　Scala的特性　24
3.1.3　Scala的優(yōu)勢(shì)　24
3.2　Scala的安裝　25
3.2.1　Windows下安裝Scala
編譯器　25
3.2.2　Linux下安裝Scala
編譯器　26
3.3　Scala基礎(chǔ)　26
3.3.1　Scala快速入門　26
3.3.2　在IntelliJ IDEA中創(chuàng)建Scala
項(xiàng)目　27
3.4　Scala的基本語法　28
3.4.1　聲明變量　29
3.4.2　定義字符串　29
3.4.3　數(shù)據(jù)類型　31
3.4.4　運(yùn)算符　32
3.4.5　塊表達(dá)式　33
3.5　Scala的流程控制結(jié)構(gòu)　33
3.5.1　順序結(jié)構(gòu)　33
3.5.2　分支結(jié)構(gòu)　34
3.5.3　循環(huán)結(jié)構(gòu)　36
3.5.4　breakable和break()方法　38
3.6　Scala的方法與函數(shù)　39
3.6.1　Scala中方法的定義和調(diào)用　39
3.6.2　Scala中函數(shù)的定義和調(diào)用　42
3.6.3　Scala中將方法轉(zhuǎn)換成函數(shù)　43
3.7　Scala面向?qū)ο蟮奶匦浴?4
3.7.1　類和對(duì)象　44
3.7.2　private關(guān)鍵字　45
3.7.3　繼承　45
3.7.4　單例對(duì)象　46
3.7.5　伴生對(duì)象　46
3.7.6　構(gòu)造器　47
3.7.7　特質(zhì)　48
3.7.8　抽象類　50
3.8　Scala的數(shù)據(jù)結(jié)構(gòu)　50
3.8.1　數(shù)組　50
3.8.2　元組　52
3.8.3　集合　53
3.9　lazy關(guān)鍵字　56
實(shí)戰(zhàn)訓(xùn)練：數(shù)組合并去重　57
3.10　本章小結(jié)　59
3.11　習(xí)題　59
第4章　Spark彈性分布式數(shù)據(jù)集　61
4.1　RDD簡(jiǎn)介　61
4.1.1　RDD的產(chǎn)生背景　61
4.1.2　RDD的特性　62
4.2　RDD的創(chuàng)建操作　64
4.2.1　從文件系統(tǒng)中加載數(shù)據(jù)創(chuàng)建
RDD　64
4.2.2　通過并行集合創(chuàng)建RDD　64
4.2.3　從父RDD轉(zhuǎn)換成新的子
RDD　64
4.3　RDD算子　64
4.3.1　轉(zhuǎn)換算子　65
4.3.2　動(dòng)作算子　71
4.3.3　RDD常用算子練習(xí)　72
4.3.4　算子進(jìn)階　74
實(shí)戰(zhàn)訓(xùn)練4-1：WordCount詞頻統(tǒng)計(jì)
案例　77
4.4　RDD的分區(qū)　78
4.5　RDD的依賴關(guān)系　79
4.5.1　劃分依賴的背景　79
4.5.2　劃分依賴的依據(jù)　80
4.5.3　窄依賴　80
4.5.4　寬依賴　80
4.5.5　Stage的劃分　81
4.6　RDD機(jī)制　81
4.6.1　持久化機(jī)制　81
4.6.2　RDD緩存方式　81
4.6.3　容錯(cuò)機(jī)制Checkpoint　82
4.7　Spark作業(yè)流程　83
4.7.1　DAG的生成　83
4.7.2　任務(wù)調(diào)度流程　83
4.7.3　提交任務(wù)的4個(gè)階段　84
4.8　共享變量　84
4.8.1　廣播變量　85
4.8.2　累加器　85
實(shí)戰(zhàn)訓(xùn)練4-2：通過相關(guān)信息計(jì)算用戶
停留時(shí)間　85
實(shí)戰(zhàn)訓(xùn)練4-3：統(tǒng)計(jì)學(xué)生信息　87
4.9　本章小結(jié)　92
4.10　習(xí)題　93
第5章　Spark SQL、DataFrame和
DataSet　95
5.1　Spark SQL簡(jiǎn)介　95
5.1.1　Spark SQL的概念　95
5.1.2　Spark SQL的特點(diǎn)　96
5.1.3　Spark SQL的運(yùn)行架構(gòu)　97
5.2　DataFrame基礎(chǔ)知識(shí)　98
5.2.1　DataFrame概念　98
5.2.2　創(chuàng)建DataFrame對(duì)象　99
5.2.3　DataFrame常用操作　99
5.3　DataSet基礎(chǔ)知識(shí)　100
5.3.1　DataSet編程　101
5.3.2　DataSet的DSL風(fēng)格操作　101
5.4　將RDD轉(zhuǎn)為DataFrame的
操作　102
5.4.1　通過反射推斷Schema　102
5.4.2　DSL風(fēng)格語法　103
5.4.3　通過StructType直接指定
Schema　104
5.5　RDD、DataFrame和DataSet的
區(qū)別　105
5.5.1　RDD的優(yōu)缺點(diǎn)　105
5.5.2　DataFrame的優(yōu)缺點(diǎn)　106
5.5.3　DataSet的優(yōu)缺點(diǎn)　106
5.5.4　Spark SQL的性能與優(yōu)化　106
5.6　通過Spark SQL操作數(shù)據(jù)源　106
5.6.1　操作MySQL數(shù)據(jù)源　106
5.6.2　操作Hive數(shù)據(jù)源　108
實(shí)戰(zhàn)訓(xùn)練5-1：獲取連續(xù)活躍用戶的
記錄　108
實(shí)戰(zhàn)訓(xùn)練5-2：計(jì)算店鋪銷售額　110
5.7　本章小結(jié)　113
5.8　習(xí)題　113
第6章　Kafka分布式發(fā)布-訂閱消息
系統(tǒng)　115
6.1　Kafka簡(jiǎn)介　115
6.1.1　什么是Kafka　115
6.1.2　消息系統(tǒng)簡(jiǎn)介　116
6.1.3　Kafka術(shù)語　117
6.2　Kafka與傳統(tǒng)消息系統(tǒng)的區(qū)別　117
6.2.1　應(yīng)用場(chǎng)景　117
6.2.2　架構(gòu)模型　118
6.2.3　吞吐量　118
6.2.4　可用性　118
6.2.5　集群負(fù)載均衡　118
6.3　Kafka工作原理　118
6.3.1　Kafka的拓?fù)浣Y(jié)構(gòu)　118
6.3.2　分析Kafka工作流程　119
6.4　Kafka集群的部署與測(cè)試　121
6.4.1　集群部署的基礎(chǔ)環(huán)境準(zhǔn)備　121
6.4.2　安裝Kafka　121
6.4.3　啟動(dòng)Kafka服務(wù)并進(jìn)行
測(cè)試　123
6.5　Kafka的入門使用　124
6.5.1　Kafka命令行的入門使用　124
6.5.2　Kafka API案例　124
6.6　Kafka整合Flume　126
6.7　Kafka涉及的問題　127
6.7.1　存儲(chǔ)機(jī)制　127
6.7.2　Kafka是如何保證數(shù)據(jù)
不丟失的　127
6.7.3　如何消費(fèi)已經(jīng)被消費(fèi)過的
數(shù)據(jù)　128
6.7.4　Kafka Partition和Consumer的
數(shù)量關(guān)系　128
6.7.5　Kafka Topic 副本問題　129
6.7.6　ZooKeeper如何管理
Kafka　129
實(shí)戰(zhàn)訓(xùn)練：使用Kafka生產(chǎn)車輛模擬
信息　129
6.8　本章小結(jié)　133
6.9　習(xí)題　133
第7章　Spark Streaming實(shí)時(shí)計(jì)算
框架　135
7.1　流式計(jì)算概述　135
7.1.1　流式計(jì)算簡(jiǎn)介　135
7.1.2　常用的流式計(jì)算框架　136
7.2　Spark Streaming概述　137
7.2.1　Spark Streaming簡(jiǎn)介　137
7.2.2　Spark Streaming工作原理　137
7.3　Spark的DStream　141
7.3.1　DStream概念　141
7.3.2　DStream的轉(zhuǎn)換操作　142
7.4　Spark Streaming的數(shù)據(jù)源　144
7.4.1　基本數(shù)據(jù)源　144
7.4.2　高級(jí)數(shù)據(jù)源之Kafka　145
7.5　DStream的窗口操作　150
7.6　DStream的輸出操作　151
7.7　Spark Streaming的Checkpoint
機(jī)制　153
7.7.1　Spark Streaming Checkpoint
概述　153
7.7.2　Checkpoint-MySQL校驗(yàn)　153
7.7.3　Checkpoint-Redis校驗(yàn)　154
實(shí)戰(zhàn)訓(xùn)練：新聞熱詞排序　155
7.8　本章小結(jié)　157
7.9　習(xí)題　157
第8章　Spark MLlib機(jī)器學(xué)習(xí)
算法庫　159
8.1　初識(shí)機(jī)器學(xué)習(xí)　159
8.1.1　什么是機(jī)器學(xué)習(xí)　159
8.1.2　機(jī)器學(xué)習(xí)的應(yīng)用　160
8.1.3　分類和聚類　160
8.1.4　常見的分類與聚類算法　160
8.1.5　監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)與
半監(jiān)督學(xué)習(xí)　161
8.2　機(jī)器學(xué)習(xí)算法庫MLlib概述　161
8.2.1　MLlib簡(jiǎn)介　161
8.2.2　Spark機(jī)器學(xué)習(xí)的工作
流程　161
8.2.3　Spark MLlib的架構(gòu)　162
8.3　數(shù)據(jù)類型　162
8.3.1　本地向量　162
8.3.2　標(biāo)簽點(diǎn)　163
8.3.3　本地矩陣　164
8.4　Spark MLlib的基本統(tǒng)計(jì)方法　165
8.4.1　摘要統(tǒng)計(jì)　165
8.4.2　相關(guān)性　165
8.4.3　分層抽樣　167
8.5　分類和回歸　168
8.5.1　線性支持向量機(jī)　168
8.5.2　邏輯回歸　169
8.5.3　線性最小二乘法　170
8.5.4　流的線性回歸　171
8.6　隨機(jī)森林　171
8.6.1　隨機(jī)注入　172
8.6.2　隨機(jī)森林的預(yù)測(cè)　172
8.6.3　3個(gè)案例　172
8.7　樸素貝葉斯　174
8.8　協(xié)同過濾　175
8.8.1　協(xié)同過濾推薦算法的原理　175
8.8.2　案例需求　175
8.8.3　算法實(shí)現(xiàn)　176
8.8.4　計(jì)算相似度的3種常用
方法　178
8.8.5　案例如何使用協(xié)同
過濾　179
8.8.6　使用協(xié)同過濾算法時(shí)的常見
問題　179
實(shí)戰(zhàn)訓(xùn)練：利用MLlib實(shí)現(xiàn)電影推薦
引擎　180
8.9　本章小結(jié)　183
8.10　習(xí)題　183
第9章　Redis數(shù)據(jù)庫　185
9.1　Redis簡(jiǎn)介　185
9.1.1　常見的Redis應(yīng)用場(chǎng)景　185
9.1.2　Redis的特性　186
9.1.3　持久化機(jī)制　187
9.2　Redis的安裝和啟動(dòng)　187
9.2.1　Redis的安裝　187
9.2.2　前端啟動(dòng)　189
9.2.3　后端啟動(dòng)　189
9.3　Redis的客戶端　190
9.3.1　Redis自帶的客戶端　190
9.3.2　Redis桌面管理工具　190
9.3.3　Java客戶端Jedis　191
9.4　Redis的數(shù)據(jù)類型　192
9.5　Redis的持久化和高可用性　194
9.5.1　RDB方式和AOF方式　194
9.5.2　Redis的高可用性　196
實(shí)戰(zhàn)訓(xùn)練：Spark　SQL整合Redis分析
電商數(shù)據(jù)　197
9.6　本章小結(jié)　199
9.7　習(xí)題　199
第 10章　綜合案例Spark電商實(shí)時(shí)
數(shù)據(jù)處理　201
10.1　項(xiàng)目概述　201
10.1.1　介紹項(xiàng)目背景　201
10.1.2　設(shè)計(jì)項(xiàng)目架構(gòu)　201
10.2　搭建項(xiàng)目環(huán)境　202
10.3　初始化項(xiàng)目結(jié)構(gòu)　203
10.3.1　創(chuàng)建Maven工程　203
10.3.2　構(gòu)建SparkSession和
StreamingContext實(shí)例
對(duì)象　207
10.3.3　構(gòu)建屬性配置文件　208
10.3.4　配置Spark Streaming停止
工具　210
10.4　開發(fā)訂單數(shù)據(jù)模塊　211
10.4.1　模擬訂單數(shù)據(jù)　211
10.4.2　啟動(dòng)Kafka服務(wù)　213
10.5　訂單數(shù)據(jù)處理模塊　214
10.6　開發(fā)報(bào)表　216
10.7　本章小結(jié)　218