目錄

第1章　大數(shù)據(jù)技術(shù)概述　1

1.1　大數(shù)據(jù)概念與關(guān)鍵技術(shù)　1

1.1.1　大數(shù)據(jù)概念　1

1.1.2　大數(shù)據(jù)關(guān)鍵技術(shù)　2

1.2　代表性大數(shù)據(jù)技術(shù)　3

1.2.1　Hadoop　3

1.2.2　Spark　7

1.2.3　Flink　9

1.2.4　Beam　11

1.3　編程語言的選擇　12

1.4　在線資源　13

1.5　本章小結(jié)　14

1.6　習(xí)題　14

第2章　Spark的設(shè)計(jì)與運(yùn)行原理　15

2.1　概述　15

2.2　Spark生態(tài)系統(tǒng)　16

2.3　Spark運(yùn)行架構(gòu)　18

2.3.1　基本概念　18

2.3.2　架構(gòu)設(shè)計(jì)方法　18

2.3.3　Spark運(yùn)行的基本流程　19

2.3.4　RDD的設(shè)計(jì)與運(yùn)行原理　20

2.4　Spark部署方式　29

2.5　本章小結(jié)　30

2.6　習(xí)題　30

第3章　大數(shù)據(jù)實(shí)驗(yàn)環(huán)境搭建　31

3.1　Linux操作系統(tǒng)的安裝　31

3.1.1　下載安裝文件　31

3.1.2　Linux操作系統(tǒng)的安裝方式　32

3.1.3　虛擬機(jī)和Linux操作系統(tǒng)的安裝　33

3.2　Hadoop的安裝　39

3.2.1　Hadoop簡(jiǎn)介　39

3.2.2　安裝Hadoop前的準(zhǔn)備工作　40

3.2.3　Hadoop的3種安裝模式　42

3.2.4　下載Hadoop安裝文件　42

3.2.5　單機(jī)模式配置　43

3.2.6　偽分布式模式配置　43

3.2.7　分布式模式配置　47

3.3　MySQL的安裝　57

3.3.1　執(zhí)行安裝命令　57

3.3.2　啟動(dòng)MySQL服務(wù)　58

3.3.3　進(jìn)入MySQL Shell界面　58

3.3.4　解決MySQL出現(xiàn)的中文亂碼問題　58

3.4　Kafka的安裝　60

3.4.1　Kafka簡(jiǎn)介　60

3.4.2　Kafka的安裝和使用　60

3.5　Anaconda的安裝和使用方法　61

3.6　本章小結(jié)　63

實(shí)驗(yàn)1　Linux、Hadoop和MySQL的安裝與使用　64

第4章　Spark環(huán)境搭建和使用方法　66

4.1　安裝Spark（Local模式）　66

4.1.1　基礎(chǔ)環(huán)境　66

4.1.2　下載安裝文件　67

4.1.3　配置相關(guān)文件　67

4.1.4　驗(yàn)證Spark是否安裝成功　68

4.2　在PySpark中運(yùn)行代碼　68

4.2.1　pyspark命令　68

4.2.2　啟動(dòng)PySpark　69

4.3　使用spark-submit命令提交運(yùn)行程序　70

4.4　Spark集群環(huán)境搭建（Standalone模式）　70

4.4.1　集群概況　71

4.4.2　搭建Hadoop集群　71

4.4.3　安裝Anaconda3　71

4.4.4　在集群中安裝Spark　72

4.4.5　配置環(huán)境變量　72

4.4.6　Spark的配置　72

4.4.7　啟動(dòng)Spark集群　73

4.4.8　關(guān)閉Spark集群　74

4.5　在集群上運(yùn)行Spark應(yīng)用程序　75

4.5.1　啟動(dòng)Spark集群　75

4.5.2　提交運(yùn)行程序　75

4.6　Spark on YARN模式　76

4.6.1　概述　76

4.6.2　Spark on YARN模式的部署　77

4.6.3　采用YARN模式運(yùn)行PySpark　77

4.6.4　通過spark-submit命令提交程序到Y(jié)ARN集群　78

4.6.5　Spark on YARN的兩種部署模式　78

4.7　安裝PySpark類庫　79

4.7.1　類庫與框架的區(qū)別　79

4.7.2　PySpark類庫的安裝　80

4.8　開發(fā)Spark獨(dú)立應(yīng)用程序　80

4.8.1　編寫程序　80

4.8.2　通過spark-submit運(yùn)行程序　81

4.9　PyCharm的安裝和使用　81

4.9.1　安裝PyCharm　81

4.9.2　使用PyCharm開發(fā)Spark程序　87

4.10　本章小結(jié)　89

4.11　習(xí)題　89

實(shí)驗(yàn)2　Spark的安裝和使用　89

第5章　RDD編程　91

5.1　RDD編程基礎(chǔ)　91

5.1.1　RDD創(chuàng)建　91

5.1.2　RDD操作　93

5.1.3　持久化　104

5.1.4　分區(qū)　105

5.1.5　綜合實(shí)例　109

5.2　鍵值對(duì)RDD　110

5.2.1　鍵值對(duì)RDD的創(chuàng)建　111

5.2.2　常用的鍵值對(duì)轉(zhuǎn)換操作　111

5.2.3　綜合實(shí)例　116

5.3　數(shù)據(jù)讀寫　117

5.3.1　本地文件系統(tǒng)的數(shù)據(jù)讀寫　117

5.3.2　分布式文件系統(tǒng)HDFS的數(shù)據(jù)讀寫　118

5.3.3　讀寫MySQL數(shù)據(jù)庫　119

5.4　綜合實(shí)例　120

5.4.1　求TOP值　120

5.4.2　文件排序　124

5.4.3　二次排序　126

5.5　本章小結(jié)　129

5.6　習(xí)題　129

實(shí)驗(yàn)3　RDD編程初級(jí)實(shí)踐　130

第6章　Spark SQL　133

6.1　Spark SQL簡(jiǎn)介　133

6.1.1　從Shark說起　133

6.1.2　Spark SQL架構(gòu)　135

6.1.3　為什么推出Spark SQL　135

6.1.4　Spark SQL的特點(diǎn)　136

6.1.5　Spark SQL簡(jiǎn)單編程實(shí)例　136

6.2　結(jié)構(gòu)化數(shù)據(jù)DataFrame　137

6.2.1　DataFrame概述　137

6.2.2　DataFrame的優(yōu)點(diǎn)　138

6.3　DataFrame的創(chuàng)建和保存　139

6.3.1　Parquet　139

6.3.2　JSON　139

6.3.3　CSV　140

6.3.4　文本文件　141

6.3.5　序列集合　141

6.4　DataFrame的基本操作　142

6.4.1　DSL語法風(fēng)格　142

6.4.2　SQL語法風(fēng)格　146

6.5　從RDD轉(zhuǎn)換得到DataFrame　148

6.5.1　利用反射機(jī)制推斷RDD模式　148

6.5.2　使用編程方式定義RDD模式　149

6.6　使用Spark SQL讀寫數(shù)據(jù)庫　150

6.6.1　準(zhǔn)備工作　150

6.6.2　讀取MySQL數(shù)據(jù)庫中的數(shù)據(jù)　151

6.6.3　向MySQL數(shù)據(jù)庫寫入數(shù)據(jù)　152

6.7　PySpark和pandas的整合　153

6.7.1　PySpark和pandas進(jìn)行整合的可行性　153

6.7.2　pandas數(shù)據(jù)結(jié)構(gòu)　154

6.7.3　實(shí)例1：兩種DataFrame之間的相互轉(zhuǎn)換　155

6.7.4　實(shí)例2：使用自定義聚合函數(shù)　156

6.8　綜合實(shí)例　157

6.9　本章小結(jié)　159

6.10　習(xí)題　159

實(shí)驗(yàn)4　Spark SQL編程初級(jí)實(shí)踐　160

第7章　Spark Streaming　162

7.1　流計(jì)算概述　162

7.1.1　靜態(tài)數(shù)據(jù)和流數(shù)據(jù)　162

7.1.2　批量計(jì)算和實(shí)時(shí)計(jì)算　163

7.1.3　什么是流計(jì)算　164

7.1.4　流計(jì)算框架　164

7.1.5　流計(jì)算處理流程　165

7.2　Spark Streaming概述　166

7.2.1　Spark Streaming設(shè)計(jì)　167

7.2.2　Spark Streaming與Storm的對(duì)比　168

7.2.3　從Hadoop Storm架構(gòu)轉(zhuǎn)向Spark架構(gòu)　168

7.3　DStream操作概述　169

7.3.1　Spark Streaming工作機(jī)制　169

7.3.2　編寫Spark Streaming程序的基本步驟　170

7.3.3　創(chuàng)建StreamingContext對(duì)象　170

7.4　基本輸入源　170

7.4.1　文件流　170

7.4.2　套接字流　172

7.4.3　RDD隊(duì)列流　176

7.5　轉(zhuǎn)換操作　177

7.5.1　DStream無狀態(tài)轉(zhuǎn)換操作　177

7.5.2　DStream有狀態(tài)轉(zhuǎn)換操作　177

7.6　輸出操作　182

7.6.1　把DStream輸出到文本文件中　182

7.6.2　把DStream寫入關(guān)系數(shù)據(jù)庫中　183

7.7　本章小結(jié)　184

7.8　習(xí)題　185

實(shí)驗(yàn)5　Spark Streaming編程初級(jí)實(shí)踐　185

第8章　Structured Streaming　187

8.1　概述　187

8.1.1　基本概念　188

8.1.2　兩種處理模型　189

8.1.3　Structured Streaming和Spark SQL、Spark Streaming的關(guān)系　190

8.2　編寫Structured Streaming程序的基本步驟　190

8.2.1　實(shí)現(xiàn)步驟　190

8.2.2　測(cè)試運(yùn)行　192

8.3　輸入源　194

8.3.1　File源　194

8.3.2　Kafka源　198

8.3.3　Socket源　200

8.3.4　Rate源　201

8.4　輸出操作　202

8.4.1　啟動(dòng)流計(jì)算　203

8.4.2　輸出模式　203

8.4.3　輸出接收器　204

8.5　容錯(cuò)處理　205

8.5.1　從檢查點(diǎn)恢復(fù)故障　206

8.5.2　故障恢復(fù)中的限制　206

8.6　遲到數(shù)據(jù)處理　206

8.6.1　事件時(shí)間　207

8.6.2　遲到數(shù)據(jù)　207

8.6.3　水印　208

8.6.4　多水印規(guī)則　209

8.6.5　處理遲到數(shù)據(jù)的實(shí)例　210

8.7　查詢的管理和監(jiān)控　213

8.7.1　管理和監(jiān)控的方法　213

8.7.2　一個(gè)監(jiān)控的實(shí)例　213

8.8　本章小結(jié)　215

8.9　習(xí)題　216

實(shí)驗(yàn)6　Structured Streaming編程實(shí)踐　216

第9章　Spark MLlib　218

9.1　基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)　218

9.2　機(jī)器學(xué)習(xí)庫MLlib概述　219

9.3　基本的數(shù)據(jù)類型　220

9.3.1　本地向量　220

9.3.2　標(biāo)注點(diǎn)　221

9.3.3　本地矩陣　222

9.3.4　數(shù)據(jù)源　223

9.4　基本的統(tǒng)計(jì)分析工具　224

9.4.1　相關(guān)性　224

9.4.2　假設(shè)檢驗(yàn)　226

9.4.3　匯總統(tǒng)計(jì)　227

9.5　機(jī)器學(xué)習(xí)流水線　228

9.5.1　流水線的概念　228

9.5.2　流水線的工作過程　229

9.6　特征提取、特征轉(zhuǎn)換、特征選擇及局部敏感散列　230

9.6.1　特征提取　231

9.6.2　特征轉(zhuǎn)換　234

9.6.3　特征選擇　239

9.6.4　局部敏感散列　241

9.7　分類算法　241

9.7.1　邏輯斯諦回歸分類算法　242

9.7.2　決策樹分類算法　246

9.8　聚類算法　250

9.8.1　K-Means聚類算法　250

9.8.2　GMM聚類算法　253

9.9　頻繁模式挖掘算法　256

9.9.1　FP-Growth算法　256

9.9.2　PrefixSpan算法　259

9.10　協(xié)同過濾算法　261

9.10.1　協(xié)同過濾算法的原理　262

9.10.2　ALS算法　262

9.11　模型選擇　266

9.11.1　模型選擇工具　266

9.11.2　用交叉驗(yàn)證選擇模型　267

9.12　本章小結(jié)　269

9.13　習(xí)題　270

實(shí)驗(yàn)7　Spark MLlib編程初級(jí)實(shí)踐　270

參考文獻(xiàn)　272