大數(shù)據(jù)分析及應(yīng)用項目教程（Spark SQL）
定 價：55 元
叢書名：高等職業(yè)教育大數(shù)據(jù)工程技術(shù)系列教材
- 作者：許慧
- 出版時間：2023/9/1
- ISBN：9787121463631
- 出 版 社：電子工業(yè)出版社
- 中圖法分類：TP274
- 頁碼：224
- 紙張：
- 版次：01
- 開本：16開
本書以項目任務(wù)為載體串聯(lián)知識與技能，介紹基于 Spark SQL 技術(shù)的大數(shù)據(jù)分析方法，培養(yǎng) 學(xué)習(xí)者使用 Spark SQL 技術(shù)解決實際數(shù)據(jù)分析問題的能力，主要內(nèi)容有大數(shù)據(jù)分析概述、實踐環(huán) 境準(zhǔn)備、學(xué)生信息處理分析、房產(chǎn)大數(shù)據(jù)分析與探索、電商大數(shù)據(jù)分析與探索、Zepplin 數(shù)據(jù)可視 化。在實現(xiàn)任務(wù)的過程中詳細(xì)闡述了 Scala 語言基礎(chǔ)、Spark SQL 編程分析、Spark SQL 數(shù)據(jù)分 析與探索、數(shù)據(jù)可視化等知識。本書適合作為高等職業(yè)院校計算機、大數(shù)據(jù)、人工智能及相關(guān)專業(yè)的教材或參考書，也可以 作為數(shù)據(jù)分析人員的參考書。
許慧（1991.10—），女，浙江大學(xué)空天信息技術(shù)碩士，衢州職業(yè)技術(shù)學(xué)院專職教師，從事大數(shù)據(jù)技術(shù)教學(xué)和科研工作。2022年主持"浙江省高等學(xué)校課程思政示范課程項目”《大數(shù)據(jù)集群環(huán)境搭建實訓(xùn)》課程建設(shè)項目。主持"衢州職業(yè)技術(shù)學(xué)院課程思政示范課程項目”《大數(shù)據(jù)挖掘與分析》課程建設(shè)。主持2019年衢州市指導(dǎo)性科技計劃項目"基于大數(shù)據(jù)的衢州電商客戶數(shù)據(jù)信息安全技術(shù)研究”。
第 1 章 大數(shù)據(jù)分析概述 ..........................................................................................1
任務(wù) 1.1 關(guān)于大數(shù)據(jù)分析............................................................................................. 1
情境導(dǎo)入 ........................................................................................................ 1
學(xué)習(xí)目標(biāo)和要求 ............................................................................................ 1
1.1.1 什么是大數(shù)據(jù)分析 ............................................................................ 2
1.1.2 大數(shù)據(jù)分析工具 ................................................................................ 5
1.1.3 大數(shù)據(jù)分析可視化 ............................................................................ 8
任務(wù) 1.2 認(rèn)識 Spark SQL ............................................................................................. 8
情境導(dǎo)入 ........................................................................................................ 8
學(xué)習(xí)目標(biāo)和要求 ............................................................................................ 8
1.2.1 Spark SQL 的背景簡介 ..................................................................... 9
1.2.2 Spark SQL 的運行原理 ................................................................... 10
腦圖小結(jié)......................................................................................................................... 14
章節(jié)練習(xí)......................................................................................................................... 16
第 2 章 實踐環(huán)境準(zhǔn)備 ...........................................................................................17
任務(wù) 2.1 Hadoop 集群環(huán)境搭建 ................................................................................. 17
情境導(dǎo)入 ...................................................................................................... 17
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 18
2.1.1 環(huán)境準(zhǔn)備 .......................................................................................... 18
2.1.2 安裝 Hadoop..................................................................................... 35
2.1.3 啟動 Hadoop 集群............................................................................ 45
2.1.4 運行經(jīng)典案例 wordcount ................................................................ 48
任務(wù) 2.2 Spark 集群部署與使用 ................................................................................ 50
情境導(dǎo)入 ...................................................................................................... 50
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 50
2.2.1 安裝 Spark ........................................................................................ 50
2.2.2 啟動 Spark ........................................................................................ 54
2.2.3 Spark 集群測試 ................................................................................ 56
任務(wù) 2.3 安裝 Scala ..................................................................................................... 60
情境導(dǎo)入 ...................................................................................................... 60
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 60
2.3.1 下載 Scala 安裝包............................................................................ 61
2.3.2 Scala 安裝配置................................................................................. 61
腦圖小結(jié)......................................................................................................................... 62
章節(jié)練習(xí)......................................................................................................................... 63
第 3 章 學(xué)生信息處理分析 ....................................................................................65
任務(wù) 3.1 班級基本情況分析....................................................................................... 66
情境導(dǎo)入 ...................................................................................................... 66
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 66
3.1.1 學(xué)生所屬班級和男女生數(shù)量 .......................................................... 67
3.1.2 以班級為單位整理學(xué)生信息 .......................................................... 84
任務(wù) 3.2 學(xué)生基本情況分析....................................................................................... 96
情境導(dǎo)入 ...................................................................................................... 96
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 96
3.2.1 學(xué)生特長情況分析 .......................................................................... 96
3.2.2 學(xué)生成績情況分析 ........................................................................ 102
腦圖小結(jié)....................................................................................................................... 105
章節(jié)練習(xí)....................................................................................................................... 106
第 4 章 房產(chǎn)大數(shù)據(jù)分析與探索 ...........................................................................108
任務(wù) 4.1 某房產(chǎn)公司銷售人員業(yè)績分析............................................................... 108
情境導(dǎo)入 .................................................................................................... 108
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 110
4.1.1 數(shù)據(jù)集處理 .................................................................................... 110
4.1.2 數(shù)據(jù)操作分析 ................................................................................ 116
任務(wù) 4.2 某城市近年房產(chǎn)銷售狀況分析................................................................. 131
情境導(dǎo)入 .................................................................................................... 131
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 132
4.2.1 數(shù)據(jù)準(zhǔn)備 ........................................................................................ 132
4.2.2 數(shù)據(jù)探索與分析 ............................................................................ 134
4.2.3 總結(jié)分析 ........................................................................................ 139
腦圖小結(jié)....................................................................................................................... 139
章節(jié)練習(xí)....................................................................................................................... 140
第 5 章 電商大數(shù)據(jù)分析與探索 ...........................................................................141
任務(wù) 5.1 “女裝電子商務(wù)評論”數(shù)據(jù)分析........................................................ 141
情境導(dǎo)入 .................................................................................................... 141
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 142
5.1.1 數(shù)據(jù)準(zhǔn)備 ..................................................................................... 142
5.1.2 數(shù)據(jù)清洗 ..................................................................................... 152
5.1.3 數(shù)據(jù)轉(zhuǎn)換 ..................................................................................... 157
5.1.4 數(shù)據(jù)分析 ........................................................................................ 162
5.1.5 數(shù)據(jù)輸出 ........................................................................................ 171
任務(wù) 5.2 “在線銷售訂單”數(shù)據(jù)分析..................................................................... 173
情境導(dǎo)入 .................................................................................................... 173
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 174
5.2.1 數(shù)據(jù)查詢操作 ................................................................................ 174
5.2.2 數(shù)據(jù)分析探索 ................................................................................ 184
腦圖小結(jié)....................................................................................................................... 191
章節(jié)練習(xí)....................................................................................................................... 192
第 6 章 Zeppelin 數(shù)據(jù)可視化 ............................................................................193
任務(wù) 6.1 Zeppelin 安裝與部署.................................................................................. 193
情境導(dǎo)入 .................................................................................................... 193
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 193
6.1.1 下載安裝包 .................................................................................... 194
6.1.2 安裝配置 ........................................................................................ 195
6.1.3 測試運行 Zeppelin ......................................................................... 199
任務(wù) 6.2 “女裝電子商務(wù)評論”數(shù)據(jù)可視化......................................................... 203
情境導(dǎo)入 .................................................................................................... 203
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 204
6.2.1 加載數(shù)據(jù)注冊視圖 ........................................................................ 204
6.2.2 執(zhí)行 SQL 數(shù)據(jù)可視化................................................................... 208
任務(wù) 6.3 “在線銷售訂單”數(shù)據(jù)可視化................................................................. 212
情境導(dǎo)入 .................................................................................................... 212
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 213
執(zhí)行 Spark SQL 數(shù)據(jù)可視化 .................................................................... 213
腦圖小結(jié)....................................................................................................................... 216
章節(jié)練習(xí)....................................................................................................................... 216
書單推薦
