大數(shù)據(jù)技術(shù)基礎(chǔ)
定 價(jià):45 元
- 作者:王志 著
- 出版時(shí)間:2020/2/1
- ISBN:9787568049368
- 出 版 社:華中科技大學(xué)出版社
- 中圖法分類(lèi):TP274
- 頁(yè)碼:256
- 紙張:膠版紙
- 版次:1
- 開(kāi)本:16開(kāi)
本書(shū)通過(guò)原理加案例方式,以任務(wù)為導(dǎo)向,較為全面系統(tǒng)講解了Hadoop大數(shù)據(jù)開(kāi)發(fā)的相關(guān)知識(shí)。精心安排了原理分析,Hadoop集群環(huán)境搭建配置、Hadoop操作、MapReduce編程以及項(xiàng)目案例開(kāi)發(fā)等環(huán)節(jié),使讀者對(duì)解決大數(shù)據(jù)問(wèn)題有清晰的思路。全書(shū)突出了原理清晰,思路透徹、案例實(shí)用這幾個(gè)特點(diǎn),通過(guò)實(shí)踐幫助讀者鞏固所學(xué)內(nèi)容。通過(guò)向?qū)W生系統(tǒng)地講解大數(shù)據(jù)系統(tǒng)的組成部分及相關(guān)功能,后結(jié)合一個(gè)完整的案例來(lái)幫助學(xué)生理解和鞏固大數(shù)據(jù)系統(tǒng)的相關(guān)知識(shí),從而掌握大數(shù)據(jù)分析和處理的流程。該教材由校內(nèi)教師和企業(yè)教師共同編寫(xiě),能夠代表行業(yè)對(duì)于大數(shù)據(jù)類(lèi)人才的新需求,可以作為高等院校大數(shù)據(jù)專(zhuān)業(yè)的基礎(chǔ)教材。
(1)該教材的編寫(xiě)由校內(nèi)教師、985高校教師和企業(yè)教師共同完成。由于《大數(shù)據(jù)技術(shù)基礎(chǔ)》課程的重要地位和實(shí)踐特點(diǎn),高校教師和企業(yè)教師都非常重視該教材的編寫(xiě)。目前,《大數(shù)據(jù)技術(shù)基礎(chǔ)》課程是我校1門(mén)校企合作課程。基于文華學(xué)院的大數(shù)據(jù)特色專(zhuān)業(yè)學(xué)科建設(shè)和浪潮大數(shù)據(jù)實(shí)驗(yàn)室的平臺(tái),給學(xué)生提供良好的教學(xué)和實(shí)踐平臺(tái),該教材由校內(nèi)教師和企業(yè)教師共同編寫(xiě)。 (2)基于案例驅(qū)動(dòng)的教學(xué)內(nèi)容設(shè)計(jì)。以往的許多教材在內(nèi)容上一般只有針對(duì)知識(shí)點(diǎn)的基礎(chǔ)案例,缺乏應(yīng)用案例,從而使學(xué)生感到高深莫測(cè)和畏難情緒。因此,我們?cè)谠摻滩牡木帉?xiě)過(guò)程中精心設(shè)計(jì)應(yīng)用案例,以確保應(yīng)用的完整性。 (3)在該教材的編寫(xiě)中,先給學(xué)生講解大數(shù)據(jù)系統(tǒng)的組成部分及各部分功能,后講解一個(gè)完整的案例幫助學(xué)生理解和鞏固知識(shí)點(diǎn),掌握大數(shù)據(jù)分析和處理的流程。這樣學(xué)生就掌握了每個(gè)知識(shí)點(diǎn)的應(yīng)用價(jià)值,學(xué)習(xí)起來(lái)更有興趣和信心。 (4)本書(shū)兼顧了湖北省應(yīng)用型高等學(xué)校的人才培養(yǎng)特點(diǎn)以及研究型大學(xué)的實(shí)踐教學(xué)需要,為了更好地提高學(xué)生的專(zhuān)業(yè)技能訓(xùn)練以及提高學(xué)生的學(xué)習(xí)興趣。
當(dāng)今大數(shù)據(jù)技術(shù)是熱門(mén)的計(jì)算機(jī)技術(shù)之一,互聯(lián)網(wǎng)已進(jìn)入大數(shù)據(jù)、人工智能時(shí)代。大數(shù)據(jù)技術(shù)已廣泛應(yīng)用于各行各業(yè)并將繼續(xù)影響人類(lèi)生產(chǎn)生活的方方面面,深刻改變著人類(lèi)的思維、生產(chǎn)、生活、學(xué)習(xí)方式,深刻展示了世界發(fā)展的前景。2015年9月5日,國(guó)務(wù)院正式下發(fā)《國(guó)務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知》。在大數(shù)據(jù)時(shí)代,數(shù)據(jù)的存儲(chǔ)與挖掘至關(guān)重要。企業(yè)資本則以BAT互聯(lián)網(wǎng)公司為首,不斷追求高可靠性、高擴(kuò)展性及高容錯(cuò)性的大數(shù)據(jù)處理平臺(tái)的同時(shí)還希望能夠降低成本進(jìn)行大數(shù)據(jù)創(chuàng)新,實(shí)現(xiàn)大數(shù)據(jù)的商業(yè)價(jià)值。而Hadoop為實(shí)現(xiàn)這些需求提供了解決方案。Hadoop作為大數(shù)據(jù)生態(tài)系統(tǒng)中的典型核心框架,專(zhuān)為離線(xiàn)和大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)。Hadoop的核心組件HDFS為海量數(shù)據(jù)提供了分布式存儲(chǔ)并具備高拓展性,通過(guò)數(shù)據(jù)冗余保證數(shù)據(jù)不丟失和提升計(jì)算效率;而MapReduce組件則為海量數(shù)據(jù)提供了分布式計(jì)算。許多互聯(lián)網(wǎng)企業(yè)公司都使用Hadoop及配合數(shù)據(jù)挖掘的一系列算法來(lái)實(shí)現(xiàn)其核心業(yè)務(wù),如阿里云、京東云、騰訊云、華為云等云平臺(tái)都提供了各類(lèi)系統(tǒng)級(jí)的大數(shù)據(jù)計(jì)算處理。本書(shū)以Hadoop為核心,系統(tǒng)闡述了基于這種通用大數(shù)據(jù)處理平臺(tái)的應(yīng)用開(kāi)發(fā)技術(shù),由淺入深,逐步擴(kuò)展組件構(gòu)建一個(gè)完整的Hadoop生態(tài)圈。在這個(gè)生態(tài)圈中,通過(guò)HDFS認(rèn)識(shí)分布式存儲(chǔ)系統(tǒng);以MapReduce詳解分布式計(jì)算的步驟;利用HBase分析適合NOSQL數(shù)據(jù)存儲(chǔ)的分布式數(shù)據(jù)庫(kù);利用Hive數(shù)據(jù)倉(cāng)庫(kù)分析SQL查詢(xún)轉(zhuǎn)換為分布式計(jì)算;利用Storm進(jìn)行Hadoop生態(tài)圈中的分布式實(shí)時(shí)計(jì)算。后通過(guò)幾個(gè)典型的綜合應(yīng)用案例來(lái)講解如何利用Hadoop生態(tài)體系的技術(shù)來(lái)解決實(shí)際問(wèn)題。通過(guò)整本書(shū)的學(xué)習(xí),讀者應(yīng)該能熟練掌握系統(tǒng)架構(gòu)以及業(yè)務(wù)流程,并使用Hadoop集成環(huán)境進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)、數(shù)據(jù)分析以及可視化處理以實(shí)現(xiàn)完整的大數(shù)據(jù)項(xiàng)目的開(kāi)發(fā)。本書(shū)努力將難以理解的思想具體化、簡(jiǎn)單化,讓初學(xué)者能夠輕松理解并快速掌握。本書(shū)對(duì)每個(gè)知識(shí)點(diǎn)也以圖文并茂的方式進(jìn)行了深入系統(tǒng)的分析,力求讓讀者在實(shí)際工作中能理解這些知識(shí)點(diǎn)并將其加以運(yùn)用。本書(shū)由王志編寫(xiě),在成書(shū)過(guò)程中得到了文華學(xué)院的支持,并由郭勝、詹玲兩位老師提供大量的數(shù)據(jù)和項(xiàng)目支撐,俞侃教授也給予了鼎力支持,在此表示衷心的感謝。由于作者水平有限,不足之處在所難免,懇請(qǐng)讀者指正。
編者2020年11月
畢業(yè)于英國(guó)南岸大學(xué)因特網(wǎng)與多媒體工程專(zhuān)業(yè),2005年入職文華學(xué)院,一直從事計(jì)算機(jī)方向的課程教學(xué),具有多年Java、數(shù)據(jù)庫(kù)等課程的教學(xué)經(jīng)驗(yàn)。參與了大數(shù)據(jù)挖掘與并行處理的實(shí)踐教學(xué)研究、《大學(xué)計(jì)算機(jī)基礎(chǔ)》精品課程等多項(xiàng)教改項(xiàng)目。1、參編《新編計(jì)算機(jī)專(zhuān)業(yè)英語(yǔ)》清華大學(xué)出版社2、參編《數(shù)據(jù)庫(kù)系統(tǒng)原理及應(yīng)用》清華大學(xué)出版社3、參編《數(shù)據(jù)庫(kù)系統(tǒng)原理及應(yīng)用習(xí)題解析與項(xiàng)目實(shí)訓(xùn)》清華大學(xué)出版社4、參編《數(shù)據(jù)結(jié)構(gòu)(C語(yǔ)言版)》清華大學(xué)出版社
第1章大數(shù)據(jù)技術(shù)簡(jiǎn)介(1)
1.1大數(shù)據(jù)的產(chǎn)生和發(fā)展背景(1)
1.2大數(shù)據(jù)的本質(zhì)和特征(4)
1.3大數(shù)據(jù)的技術(shù)現(xiàn)狀(7)
1.4大數(shù)據(jù)的潛在價(jià)值(10)
1.5大數(shù)據(jù)的挑戰(zhàn)(14)
1.6大數(shù)據(jù)的技術(shù)發(fā)展趨勢(shì)(17)
第2章大數(shù)據(jù)技術(shù)總體架構(gòu)和關(guān)鍵技術(shù)(19)
2.1大數(shù)據(jù)系統(tǒng)總體架構(gòu)(19)
2.2大數(shù)據(jù)存儲(chǔ)與管理技術(shù)(20)
2.3大數(shù)據(jù)處理技術(shù)(23)
2.4大數(shù)據(jù)查詢(xún)技術(shù)(28)
2.5大數(shù)據(jù)分析技術(shù)(30)
2.6數(shù)據(jù)可視化技術(shù)(33)
第3章Hadoop環(huán)境搭建(37)
3.1Hadoop簡(jiǎn)介(37)
3.2Hadoop核心架構(gòu)(39)
3.3Hadoop安裝(41)
第4章并行計(jì)算框架MapReduce(52)
4.1MapReduce簡(jiǎn)介(52)
4.2MRv1架構(gòu)(55)
4.3MRv2架構(gòu)(61)
4.4MapReduce編程實(shí)例(67)
第5章分布式文件系統(tǒng)HDFS(73)
5.1HDFS的基本特征與架構(gòu)(73)
5.2HDFS的高可用設(shè)計(jì)(76)
5.3HDFS數(shù)據(jù)組織方式與讀/寫(xiě)流程分析(79)
5.4HDFS操作命令(83)
5.5HDFS基本編程接口(90)
第6章列式存儲(chǔ)數(shù)據(jù)庫(kù)HBase(100)
6.1HBase簡(jiǎn)介(100)
6.2HBase的基礎(chǔ)架構(gòu)(101)
6.3安裝HBase(104)
6.4HBase的基本操作(108)
6.5HBase客戶(hù)端(114)
6.6HBase編程實(shí)踐(117)
第7章數(shù)據(jù)倉(cāng)庫(kù)工具Hive(121)
7.1關(guān)于Hive(121)
7.2數(shù)據(jù)類(lèi)型與文件格式(125)
7.3HiveQL:Hive查詢(xún)語(yǔ)言(127)
7.4表(138)
7.5函數(shù)(140)
7.6Hive的實(shí)踐(146)
第8章分布式實(shí)時(shí)計(jì)算框架Storm(151)
8.1背景介紹(151)
8.2Storm體系概要(152)
8.3Storm數(shù)據(jù)流模型(155)
8.4Storm集群安裝部署(164)
8.5Storm實(shí)戰(zhàn)與進(jìn)階(168)
第9章大數(shù)據(jù)案例之文華學(xué)院招生與就業(yè)系統(tǒng)(179)
9.1文華學(xué)院招生與就業(yè)大數(shù)據(jù)系統(tǒng)需求(179)
9.2文華學(xué)院招生與就業(yè)大數(shù)據(jù)系統(tǒng)總體設(shè)計(jì)(181)
9.3文華學(xué)院招生與就業(yè)大數(shù)據(jù)處理流程(183)
9.4文華學(xué)院招生與就業(yè)大數(shù)據(jù)系統(tǒng)可視化(185)
第10章大數(shù)據(jù)案例之手機(jī)銷(xiāo)售數(shù)據(jù)統(tǒng)計(jì)分析系統(tǒng)(198)
10.1應(yīng)用項(xiàng)目案例需求介紹(198)
10.2需求功能分析與設(shè)計(jì)(198)
10.3項(xiàng)目整體系統(tǒng)架構(gòu)設(shè)計(jì)(199)
10.4Phoenix的安裝與使用(200)
10.5案例項(xiàng)目詳細(xì)設(shè)計(jì)(203)
10.6銷(xiāo)售數(shù)據(jù)分析客戶(hù)端頁(yè)面(220)
10.7小結(jié)(222)
第11章大數(shù)據(jù)案例之基于HBase的對(duì)象存儲(chǔ)服務(wù)(223)
11.1國(guó)內(nèi)外知名對(duì)象存儲(chǔ)服務(wù)(223)
11.2本項(xiàng)目基本需求(227)
11.3技術(shù)選型(228)
11.4功能模塊設(shè)計(jì)(230)
11.5數(shù)據(jù)庫(kù)設(shè)計(jì)(231)
11.6HBase優(yōu)化(233)
11.7代碼(234)
11.8測(cè)試(242)
11.9小結(jié)(248)
參考文獻(xiàn)(249)