第 1章 大數(shù)據(jù)項目概述 1
學(xué)習(xí)目標(biāo)　1
1.1　企業(yè)大數(shù)據(jù)項目簡介　1
1.1.1　數(shù)據(jù)處理流程　1
1.1.2　架構(gòu)分析　2
1.1.3　人員安排　5
1.2　大數(shù)據(jù)項目實戰(zhàn)基礎(chǔ)　5
1.2.1　實戰(zhàn)環(huán)境　5
1.2.2　涉及的技術(shù)及需掌握的能力　11
小結(jié)　20
第　2章 Hadoop生態(tài)組件基礎(chǔ)　21
學(xué)習(xí)目標(biāo)　21
2.1　Hadoop基礎(chǔ)　21
2.1.1　Hadoop概述　21
2.1.2　Hadoop集群安裝與配置　25
2.1.3　Hadoop框架組成　36
2.1.4　Hadoop應(yīng)用實踐　42
2.2　Hive基礎(chǔ)　45
2.2.1　Hive概述　45
2.2.2　Hive安裝與配置　46
2.2.3　Hive體系架構(gòu)　50
2.2.4　Hive應(yīng)用實踐　54
2.3　Spark基礎(chǔ)　58
2.3.1　Spark概述　59
2.3.2　Spark集群安裝與配置　63
2.3.3　Spark集群架構(gòu)　66
2.3.4　Spark應(yīng)用實踐　67
小結(jié)　69
第3章　廣電大數(shù)據(jù)用戶畫像需求分析　70
學(xué)習(xí)目標(biāo)　70
3.1　項目需求　70
3.1.1　項目背景　70
3.1.2　項目目標(biāo)　71
3.2　需求探索　71
3.2.1　數(shù)據(jù)說明　71
3.2.2　基礎(chǔ)探索　76
3.2.3　業(yè)務(wù)需求探索　84
3.3　技術(shù)方案　96
3.3.1　技術(shù)選型　96
3.3.2　系統(tǒng)架構(gòu)　98
小結(jié)　99
第4章　廣電大數(shù)據(jù)用戶畫像數(shù)據(jù)采集與預(yù)處理　101
學(xué)習(xí)目標(biāo)　101
4.1　業(yè)務(wù)數(shù)據(jù)　101
4.1.1　生產(chǎn)數(shù)據(jù)來源　101
4.1.2　模擬產(chǎn)生業(yè)務(wù)數(shù)據(jù)　102
4.2　數(shù)據(jù)存儲與傳輸　119
4.2.1　Elasticsearch數(shù)據(jù)傳輸?shù)紿ive　119
4.2.2　用戶畫像標(biāo)簽結(jié)果保存到MySQL　133
4.3　基礎(chǔ)數(shù)據(jù)預(yù)處理　135
小結(jié)　141
第5章　廣電大數(shù)據(jù)用戶畫像實時統(tǒng)計訂單信息　142
學(xué)習(xí)目標(biāo)　142
5.1　實時統(tǒng)計目標(biāo)　142
5.2　Kafka安裝和配置　142
5.3　實時統(tǒng)計訂單信息　144
5.3.1　模擬產(chǎn)生訂單實時數(shù)據(jù)流　144
5.3.2　Spark Streaming實時統(tǒng)計訂單信息　146
小結(jié)　151
第6章　廣電大數(shù)據(jù)用戶畫像用戶標(biāo)簽計算與可視化　152
學(xué)習(xí)目標(biāo)　152
6.1　SVM預(yù)測用戶是否值得挽留　152
6.1.1　SVM算法　152
6.1.2　構(gòu)建特征列和標(biāo)簽列數(shù)據(jù)　153
6.1.3　建立SVM模型　159
6.1.4　模型評估　160
6.1.5　模型預(yù)測　161
6.1.6　整體實現(xiàn)及參數(shù)封裝　163
6.2　用戶畫像　168
6.2.1　用戶畫像概述　169
6.2.2　標(biāo)簽計算　170
6.2.3　用戶畫像工程實現(xiàn)　179
6.3　用戶畫像可視化　188
6.3.1　用戶畫像可視化簡介　188
6.3.2　可視化工程實現(xiàn)　188
6.3.3　結(jié)果展示　192
小結(jié)　195
第7章　廣電大數(shù)據(jù)用戶畫像任務(wù)調(diào)度實現(xiàn)　196
學(xué)習(xí)目標(biāo)　196
7.1　調(diào)度策略　196
7.2　調(diào)度實現(xiàn)　199
小結(jié)　227
第8章　基于TipDM大數(shù)據(jù)挖掘建模平臺實現(xiàn)廣電大數(shù)據(jù)用戶畫像　229
學(xué)習(xí)目標(biāo)　229
8.1　平臺簡介　229
8.1.1　模板　230
8.1.2　數(shù)據(jù)空間　231
8.1.3　我的項目　232
8.1.4　系統(tǒng)組件　232
8.1.5　個人組件　234
8.1.6　訪問TipDM大數(shù)據(jù)挖掘建模平臺的方式　234
8.2　廣電大數(shù)據(jù)用戶畫像開發(fā)　234
8.2.1　數(shù)據(jù)源配置　236
8.2.2　數(shù)據(jù)探索　238
8.2.3　數(shù)據(jù)處理　239
8.2.4　用戶畫像　241
小結(jié)　249