第1章 Spark SQL基礎(chǔ)知識(shí) 1

1.1　Spark SQL背景　1

1.2　Spark SQL簡介　1

1.2.1　Spark SQL的特點(diǎn)　2

1.2.2　Spark SQL的用途　2

1.2.3　Spark SQL的使用場(chǎng)景　2

1.3　為什么要學(xué)習(xí)Spark SQL　3

1.4　Spark SQL的原理　3

1.4.1　傳統(tǒng)SQL的運(yùn)行原理　3

1.4.2　Spark SQL的運(yùn)行原理　4

1.4.3　Spark SQL的開發(fā)步驟　6

1.5　Spark SQL的運(yùn)行模式　7

1.5.1　Local模式　7

1.5.2　Standalone模式　7

1.5.3　OnYarn模式　8

小結(jié)　11

習(xí)題　11

第2章　Spark SQL安裝部署　12

2.1　運(yùn)行環(huán)境說明　12

2.1.1　操作系統(tǒng)說明　12

2.1.2　Java版本說明　12

2.1.3　Scala版本說明　12

2.1.4　操作系統(tǒng)客戶端工具說明　13

2.2　運(yùn)行環(huán)境準(zhǔn)備　13

2.2.1　依賴下載　13

2.2.2　安裝Java　14

2.2.3　安裝Scala　14

2.3　部署Spark SQL　15

2.3.1　下載安裝包　15

2.3.2　單機(jī)部署　15

2.3.3　集群部署　16

2.3.4　運(yùn)行環(huán)境參數(shù)　21

小結(jié)　23

習(xí)題　23

第3章　個(gè)Spark SQL應(yīng)用程序　24

3.1　搭建開發(fā)環(huán)境　24

3.1.1　下載開發(fā)工具　24

3.1.2　安裝IDEA　25

3.2　編寫Spark SQL應(yīng)用程序　26

3.2.1　Spark SQL應(yīng)用程序的編寫

步驟　27

3.2.2　編寫個(gè)Spark SQL應(yīng)用

程序　27

3.2.3　運(yùn)行個(gè)Spark SQL應(yīng)用

程序　38

小結(jié)　44

習(xí)題　44

第4章　Spark SQL編程基礎(chǔ)　45

4.1　RDD概述　45

4.1.1　RDD的優(yōu)缺點(diǎn)　45

4.1.2　RDD模型介紹　46

4.2　深入剖析RDD　47

4.2.1　Spark相關(guān)專業(yè)術(shù)語定義　47

4.2.2　Spark Application的構(gòu)成　55

4.2.3　Spark運(yùn)行的基本流程　55

4.2.4　Spark運(yùn)行架構(gòu)的特點(diǎn)　56

4.2.5　Spark核心原理　58

4.3　創(chuàng)建RDD　62

4.4　RDD操作　65

4.4.1　RDD轉(zhuǎn)換操作　65

4.4.2　RDD控制操作　72

4.4.3　RDD行動(dòng)操作　73

4.5　RDD持久化　76

4.5.1　持久化優(yōu)勢(shì)　77

4.5.2　持久化策略　77

4.6　RDD容錯(cuò)機(jī)制　78

4.6.1　lineage機(jī)制　78

4.6.2　checkpoint機(jī)制　79

小結(jié)　81

習(xí)題　81

第5章　Spark SQL編程進(jìn)階　82

5.1　概述　82

5.2　SparkSession　82

5.2.1　SparkSession介紹　82

5.2.2　創(chuàng)建SparkSession　82

5.2.3　SparkSession參數(shù)設(shè)置　85

5.2.4　SparkSession元信息讀取　85

5.3　DataFrame　85

5.3.1　深入理解DataFrame　86

5.3.2　DataFrame的優(yōu)缺點(diǎn)　86

5.3.3　DataFrame的演變過程　87

5.3.4　DataFrame的使用形式　89

5.3.5　創(chuàng)建DataFrame　89

5.3.6　DataFrame操作　102

5.3.7　DataFrame持久化　114

5.3.8　DataFrame實(shí)例　117

5.4　DataSet　120

5.4.1　深入理解DataSet　120

5.4.2　DataSet的優(yōu)點(diǎn)　120

5.4.3　創(chuàng)建DataSet　121

5.4.4　DataSet操作　121

5.4.5　DataSet持久化　122

5.5　數(shù)據(jù)抽象的共性與區(qū)別　122

5.5.1　3種數(shù)據(jù)抽象的共性　123

5.5.2　3種數(shù)據(jù)抽象的區(qū)別　123

5.6　數(shù)據(jù)抽象的相互轉(zhuǎn)換　123

5.6.1　將RDD轉(zhuǎn)換為DataFrame　124

5.6.2　將DataFrame轉(zhuǎn)換為

DataSet　124

5.6.3　將DataSet轉(zhuǎn)換為

DataFrame　124

小結(jié)　125

習(xí)題　125

第6章　Spark SQL函數(shù)　126

6.1　用戶定義函數(shù)　126

6.1.1　注冊(cè)UDF　126

6.1.2　使用UDF　126

6.1.3　UDF實(shí)例　127

6.2　用戶定義聚合函數(shù)　128

6.2.1　注冊(cè)UDAF　129

6.2.2　使用UDAF　129

6.2.3　UDAF實(shí)例　129

6.3　常用內(nèi)置函數(shù)　131

小結(jié)　131

習(xí)題　131

第7章　Spark SQL性能調(diào)優(yōu)　133

7.1　概述　133

7.1.1　木桶原理　133

7.1.2　阿姆達(dá)爾定律　134

7.2　并行度調(diào)優(yōu)　134

7.2.1　什么是并行度　134

7.2.2　為什么需要對(duì)并行度進(jìn)行

調(diào)優(yōu)　134

7.2.3　如何合理設(shè)置并行度　135

7.3　內(nèi)存調(diào)優(yōu)　135

7.3.1　為什么需要對(duì)內(nèi)存進(jìn)行

調(diào)優(yōu)　136

7.3.2　如何充分使用內(nèi)存　136

7.4　磁盤I/O調(diào)優(yōu)　137

7.4.1　為什么需要對(duì)磁盤I/O進(jìn)行

調(diào)優(yōu)　137

7.4.2　如何充分使用磁盤I/O　138

7.5　網(wǎng)絡(luò)I/O調(diào)優(yōu)　139

7.5.1　為什么需要對(duì)網(wǎng)絡(luò)I/O進(jìn)行

調(diào)優(yōu)　139

7.5.2　如何充分使用網(wǎng)絡(luò)I/O　139

小結(jié)　140

習(xí)題　140

第8章　Spark SQL編程實(shí)踐　141

8.1　Spark SQL實(shí)踐一學(xué)生考試

信息分析　141

8.2　Spark SQL實(shí)踐二生鮮電商

交易數(shù)據(jù)分析　142

8.3　Spark SQL實(shí)踐三四川省

新生嬰兒信息分析　144

小結(jié)　152

附錄　153

附錄1　常用內(nèi)置函數(shù)　153

附錄1.1　常用聚合函數(shù)　153

附錄1.2　常用排序函數(shù)　156

附錄1.3　常用字符串函數(shù)　157

附錄1.4　常用時(shí)間函數(shù)　162

附錄1.5　常用數(shù)學(xué)函數(shù)　167

附錄1.6　常用集合函數(shù)　170

附錄1.7　其他常用函數(shù)　172

附錄2　常用高階函數(shù)　173

附錄2.1　transform函數(shù)　173

附錄2.2　aggregate函數(shù)　174

附錄2.3　filter函數(shù)　174

附錄2.4　exists函數(shù)　175

附錄2.5　zip_with函數(shù)　175

附錄3　術(shù)語解釋　175