成本人h动漫无码,好男人视频在线观看免费看片

本書(shū)教學(xué)設(shè)計(jì)遵循教學(xué)規(guī)律，對(duì)真實(shí)項(xiàng)目進(jìn)行了科學(xué)拆分與提煉。主要內(nèi)容分為Hadoop大數(shù)據(jù)技術(shù)基礎(chǔ)與Hadoop 大數(shù)據(jù)分析案例兩部分，前者包括大數(shù)據(jù)的有關(guān)概念、Hadoop 概述、Hadoop集群的部署與管理、HDFS、MapReduce編程以及Hadoop生態(tài)的其他常用組件ZooKeeper、HBase 、Hive 、Sqoop 、Flume 、Storm 、Kafka 的工作原理、安裝部署和使用方法，后者通過(guò)基于云虛擬實(shí)訓(xùn)平臺(tái)的學(xué)情分析系統(tǒng)項(xiàng)目完整展示了大數(shù)據(jù)分析的過(guò)程。全書(shū)遵循理論夠用、實(shí)用，實(shí)踐*的原則選擇內(nèi)容，編排合理，表述深入淺出，所有操作命令全部按序列出，并配有解釋和運(yùn)行截圖，指導(dǎo)性、實(shí)用性強(qiáng)，能使讀者快速、輕松地掌握Hadoop大數(shù)據(jù)平臺(tái)運(yùn)維和分析的基本技術(shù)。本書(shū)適合作為高等職業(yè)院校電子信息大類各專業(yè)學(xué)習(xí)Hadoop大數(shù)據(jù)技術(shù)的教材，也可作為培訓(xùn)學(xué)校的培訓(xùn)教材，還可作為大數(shù)據(jù)愛(ài)好者的自學(xué)用書(shū)。

為認(rèn)真貫徹落實(shí)教育部實(shí)施新時(shí)代中國(guó)特色高水平高職學(xué)校和專業(yè)群建設(shè)，扎實(shí)、持續(xù)地推進(jìn)職校改革，強(qiáng)化內(nèi)涵建設(shè)和高質(zhì)量發(fā)展，落實(shí)雙高計(jì)劃，抓好2019 年職業(yè)院校信息技術(shù)人才培養(yǎng)方案實(shí)施及配套建設(shè)，在湖北信息技術(shù)職業(yè)教育集團(tuán)的大力支持下，武漢唯眾智創(chuàng)科技有限公司統(tǒng)一規(guī)劃并啟動(dòng)了職業(yè)教育賽教一體化課程改革系列規(guī)劃教材（《云計(jì)算技術(shù)與應(yīng)用》《大數(shù)據(jù)技術(shù)與應(yīng)用Ⅰ》《網(wǎng)絡(luò)綜合布線》《物聯(lián)網(wǎng).NET 開(kāi)發(fā)》《物聯(lián)網(wǎng)嵌入式開(kāi)發(fā)》《物聯(lián)網(wǎng)移動(dòng)應(yīng)用開(kāi)發(fā)》），本書(shū)是教育教學(xué)一線專家、教育企業(yè)一線工程師等專業(yè)團(tuán)隊(duì)的匠心之作，是全體編委精益求精，在日復(fù)一日年復(fù)一年的工作中，不斷探索和超越的教學(xué)結(jié)晶。本書(shū)教學(xué)設(shè)計(jì)遵循教學(xué)規(guī)律，涉及內(nèi)容是真實(shí)項(xiàng)目的拆分與提煉。大數(shù)據(jù)技術(shù)讓我們以一種前所未有的方式，對(duì)海量數(shù)據(jù)進(jìn)行處理與分析，從中挖掘出高價(jià)值的信息。但同時(shí)，大數(shù)據(jù)技術(shù)也是一門(mén)綜合性強(qiáng)、難度大的技術(shù)，掌握好它不是一件容易的事。本書(shū)是一本介紹Hadoop 大數(shù)據(jù)技術(shù)的入門(mén)書(shū)。編者在對(duì)大數(shù)據(jù)運(yùn)維和大數(shù)據(jù)分析崗位職業(yè)能力進(jìn)行分析的基礎(chǔ)上，以基于工作過(guò)程課程開(kāi)發(fā)理論為依據(jù)，結(jié)合高職學(xué)生的學(xué)習(xí)特點(diǎn)，遵循從大數(shù)據(jù)初學(xué)者到大數(shù)據(jù)運(yùn)維工程師和大數(shù)據(jù)分析工程師的職業(yè)能力發(fā)展過(guò)程和學(xué)生認(rèn)知規(guī)律，按照由淺入深、由易到難的順序整合、序化、串聯(lián)過(guò)程性知識(shí)，較為全面地介紹了大數(shù)據(jù)的有關(guān)概念和Hadoop 生態(tài)常用組件的工作原理、安裝部署及使用方法，最后通過(guò)一個(gè)企業(yè)真實(shí)項(xiàng)目基于云虛擬實(shí)訓(xùn)平臺(tái)的學(xué)情分析系統(tǒng)給讀者展示了大數(shù)據(jù)分析的全流程。本書(shū)便于教師開(kāi)展項(xiàng)目導(dǎo)向、任務(wù)驅(qū)動(dòng)模式的教學(xué)，實(shí)施在做中學(xué)、在學(xué)中做、教學(xué)練做于一體的理論實(shí)踐一體化教學(xué)。全書(shū)教學(xué)內(nèi)容分為Hadoop 大數(shù)據(jù)技術(shù)基礎(chǔ)與Hadoop 大數(shù)據(jù)分析案例兩部分。前者包括大數(shù)據(jù)的有關(guān)概念、Hadoop 概述、Hadoop 集群的部署與管理、HDFS、MapReduce 編程以及Hadoop 生態(tài)的其他常用組件ZooKeeper、HBase、Hive、Sqoop、Flume、Storm、Kafka 的工作原理、安裝部署和使用方法，后者通過(guò)項(xiàng)目基于云虛擬實(shí)訓(xùn)平臺(tái)的學(xué)情分析系統(tǒng)完整展示了大數(shù)據(jù)分析的過(guò)程。全書(shū)遵循理論夠用、實(shí)用，實(shí)踐第一的原則選擇內(nèi)容，合理編排，表述深入淺出。本書(shū)有兩大特點(diǎn)：一是所有實(shí)驗(yàn)循序漸進(jìn)，都有完整的命令和代碼及其運(yùn)行截圖，便于讀者對(duì)照學(xué)習(xí)，能有效降低學(xué)習(xí)難度，提高學(xué)習(xí)效率，指導(dǎo)性、實(shí)用性強(qiáng)。二是采用虛擬機(jī)技術(shù)，所有基礎(chǔ)實(shí)驗(yàn)?zāi)茉谄胀ㄅ_(tái)式機(jī)上完成，便于實(shí)踐教學(xué)條件不足的學(xué)校開(kāi)展大數(shù)據(jù)教學(xué)。書(shū)中案例源于企業(yè)真實(shí)項(xiàng)目，可操作性強(qiáng)，能幫助讀者快速掌握大數(shù)據(jù)分析的基本技能。本書(shū)由武漢職業(yè)技術(shù)學(xué)院胡大威、武漢軟件工程職業(yè)學(xué)院孫琳任主編；由武漢城市職業(yè)學(xué)院王世剛、荊州職業(yè)技術(shù)學(xué)院孫重巧、湖北三峽職業(yè)技術(shù)學(xué)院陳文明、武漢唯眾智創(chuàng)科技有限公司冉柏權(quán)任副主編。具體分工如下：胡大威編寫(xiě)了單元1、3、4、5、6、10，孫琳編寫(xiě)了單元2、7、8、13，王世剛編寫(xiě)了單元9，孫重巧編寫(xiě)了單元11，陳文明編寫(xiě)了單元12，冉柏權(quán)編寫(xiě)了單元14，全書(shū)由胡大威統(tǒng)稿。本書(shū)在編寫(xiě)過(guò)程中參考和借鑒了大量國(guó)內(nèi)外新著作和網(wǎng)上資料，在此對(duì)所參考著作和資料的作者及相關(guān)出版單位表示衷心的感謝！另外，對(duì)本書(shū)編寫(xiě)及出版過(guò)程中給予支持的同事、朋友及相關(guān)人士表示感謝！由于時(shí)間倉(cāng)促，編者水平有限，書(shū)中難免有遺漏和不足之處，敬請(qǐng)各位讀者批評(píng)指正。編者2019 年5 月于武漢

胡大威：1990年7月參加工作，1996年到武漢職業(yè)技術(shù)學(xué)院計(jì)算機(jī)學(xué)院任教至今，2012年晉升為教授。主持完成了2項(xiàng)省級(jí)課題和1項(xiàng)中國(guó)電子教育學(xué)會(huì)課題，2項(xiàng)省級(jí)課題在研；公開(kāi)發(fā)表獨(dú)撰學(xué)術(shù)論文26篇，其中6篇在中文核心期刊上發(fā)表，9篇論文獲得中國(guó)職業(yè)技術(shù)教育學(xué)會(huì)和中國(guó)高等職業(yè)技術(shù)教育研究會(huì)優(yōu)秀論文獎(jiǎng)；主編了包括1本普通高等教育十一五國(guó)家級(jí)規(guī)劃教材（高職高專教育）在內(nèi)的20本教材，總字?jǐn)?shù)180萬(wàn)字。湖北省級(jí)精品課程負(fù)責(zé)人、湖北省品牌專業(yè)負(fù)責(zé)人。校學(xué)術(shù)委員會(huì)委員。指導(dǎo)學(xué)生參加2017年全國(guó)職業(yè)院校技能大賽高職組大數(shù)據(jù)技術(shù)與應(yīng)用賽項(xiàng)獲得一等獎(jiǎng)，榮獲優(yōu)秀指導(dǎo)老師獎(jiǎng)。指導(dǎo)學(xué)生參加藍(lán)橋杯全國(guó)軟件專業(yè)人才設(shè)計(jì)與創(chuàng)業(yè)大賽多次獲得總決賽一、二、三等獎(jiǎng)，指導(dǎo)學(xué)生參加第七屆全國(guó)信息技術(shù)應(yīng)用水平大賽ITAT全國(guó)總決賽獲全國(guó)特等獎(jiǎng)。孫琳：高級(jí)工程師，CCF會(huì)員。雙師型教師，省級(jí)教學(xué)團(tuán)隊(duì)軟件技術(shù)專業(yè)教學(xué)團(tuán)隊(duì)主要成員，一直在教學(xué)科研一線工作。工作以來(lái)，積極參與科研與教研活動(dòng)，主持省市級(jí)教科研課題5項(xiàng)，其中CCF職業(yè)教育科研重點(diǎn)課題1項(xiàng)；編寫(xiě)教材十余本，其中主編教材3本，副主編教材7本；以第一作者在各級(jí)刊物上公開(kāi)發(fā)布論文8篇篇；指導(dǎo)學(xué)生參加藍(lán)橋杯全國(guó)軟件設(shè)計(jì)大賽獲得了全國(guó)總決賽二、三等獎(jiǎng)。?

單元 1　大數(shù)據(jù)概述........................... 11.1　大數(shù)據(jù)的產(chǎn)生 .........................................11.1.1　大數(shù)據(jù)產(chǎn)生的原因 ................................11.1.2　大數(shù)據(jù)的發(fā)展歷程 ................................21.2　大數(shù)據(jù)的概念 .........................................31.2.1　大數(shù)據(jù)的定義 ........................................31.2.2　大數(shù)據(jù)的特征 ........................................31.2.3　大數(shù)據(jù)的構(gòu)成 ........................................41.2.4　大數(shù)據(jù)的意義 ........................................41.3　大數(shù)據(jù)的基本處理流程 .........................51.4　大數(shù)據(jù)技術(shù) .............................................61.4.1　大數(shù)據(jù)的技術(shù)層面 ................................61.4.2　大數(shù)據(jù)的計(jì)算模式 ................................71.4.3　大數(shù)據(jù)的技術(shù)路線 ................................71.4.4　大數(shù)據(jù)技術(shù)的應(yīng)用 ................................71.5　大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系 .........81.5.1　云計(jì)算 ....................................................81.5.2　物聯(lián)網(wǎng) ....................................................91.5.3　大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系 ......10 習(xí)題 .............................................................10 單元 2　Hadoop概述.......................112.1　Hadoop簡(jiǎn)介 ..........................................112.1.1　Hadoop的起源及發(fā)展歷史 ..................112.1.2　Hadoop的設(shè)計(jì)思想和特性 ..................132.1.3　Hadoop的體系結(jié)構(gòu) ..............................132.1.4　Hadoop的生態(tài)系統(tǒng) ..............................142.1.5　Hadoop的發(fā)行版本 ..............................162.1.6　Apache Hadoop的下載 ........................172.2　Hadoop系列實(shí)驗(yàn)前的準(zhǔn)備工作 ..........182.2.1　計(jì)算機(jī)軟硬件基本配置要求 .............182.2.2　大數(shù)據(jù)實(shí)驗(yàn)軟件包介紹 ......................182.2.3　檢查實(shí)驗(yàn)機(jī)是否支持虛擬化 ..............202.2.4　檢查在BIOS中是否已打開(kāi)VT-x 功能 ......................................................21習(xí)題 .............................................................22單元 3　VＭware和CentOS的安裝....2３ 3.1　安裝VMware Workstation ....................233.1.1　VMware虛擬機(jī)簡(jiǎn)介 ............................233.1.2　安裝VMware虛擬機(jī) ............................243.2　創(chuàng)建虛擬機(jī)Master ...............................273.3　安裝CentOS ..........................................323.4　克隆虛擬機(jī)Slave..................................343.5　上傳Hadoop實(shí)驗(yàn)軟件包到Linux 系統(tǒng)中 ...................................................36 3.6　常用的Linux操作系統(tǒng)命令和文本編輯器vi ................................................39 3.6.1　Linux操作系統(tǒng)常用命令 .....................393.6.2　文本編輯器vi .......................................41習(xí)題 .............................................................43單元 4　Hadoop集群的部署與管理......44 4.1　Hadoop的運(yùn)行模式 ..............................444.1.1　計(jì)算機(jī)集群 ..........................................444.1.2　Hadoop的運(yùn)行模式 ..............................464.2　配置Linux系統(tǒng)......................................484.2.1　說(shuō)明 ......................................................484.2.2　配置時(shí)鐘同步 ......................................494.2.3　配置主機(jī)名 ..........................................504.2.4　配置網(wǎng)絡(luò)環(huán)境 ......................................514.2.5　關(guān)閉防火墻 ..........................................554.2.6　配置 hosts 列表 ....................................564.2.7　安裝JDK ...............................................584.2.8　配置免密鑰登錄 ..................................604.3　配置Hadoop ..........................................634.3.1　解壓Hadoop安裝包 ..............................644.3.2　在Master節(jié)點(diǎn)修改Hadoop配置文件 .....................................................64 4.3.3　在Master節(jié)點(diǎn)上配置Hadoop的系統(tǒng)環(huán)境變量 ......................................71 4.3.4　將已經(jīng)配置好的Hadoop復(fù)制到其他節(jié)點(diǎn)上 ..........................................71 4.3.5　創(chuàng)建數(shù)據(jù)目錄 ......................................714.4　啟動(dòng) Hadoop 集群 ................................714.4.1　格式化文件系統(tǒng) ..................................714.4.2　啟動(dòng)Hadoop集群 ..................................724.5　測(cè)試Hadoop集群 ..................................734.6　監(jiān)控Hadoop集群 ..................................744.6.1　監(jiān)控HDFS ............................................744.6.2　監(jiān)控Yarn ...............................................774.7　停止Hadoop集群 ..................................794.8　動(dòng)態(tài)管理節(jié)點(diǎn) .......................................794.8.1　增加節(jié)點(diǎn) ..............................................804.8.2　刪除節(jié)點(diǎn) ..............................................844.9　Hadoop的命令 ......................................86習(xí)題　 ............................................................87單元 5　Hadoop分布式文件系統(tǒng) HDFS.............................88 5.1　HDFS概述 .............................................885.1.1　HDFS簡(jiǎn)介 ............................................885.1.2　HDFS的體系結(jié)構(gòu) ................................895.1.3　HDFS的概念 ........................................905.1.4　HDFS的存儲(chǔ)原理 ................................935.1.5　HDFS文件的讀寫(xiě)過(guò)程 ........................945.1.6　HDFS高可用性 ....................................955.2　用命令方式實(shí)現(xiàn)HDFS常用操作.........965.2.1　HDFS的基本命令 ................................965.2.2　HDFS文件系統(tǒng)的操作 ......................1025.3　安裝與配置Eclipse集成開(kāi)發(fā)環(huán)境 .....104 5.3.1　Eclipse開(kāi)發(fā)環(huán)境介紹.........................1045.3.2　Eclipse的安裝和配置.........................1055.4　編程實(shí)現(xiàn)HDFS常用操作...................1125.4.1　HDFS Java API 簡(jiǎn)介 ...........................1125.4.2　HDFS Java API 的一般用法 ...............1135.4.3　HDFS Java API 的編程實(shí)踐 ...............113習(xí)題 ...........................................................116單元 6　MapReduce....................1186.1　MapReduce概述 ..................................1186.1.1　MapReduce的設(shè)計(jì)思想.....................1196.1.2　MapReduce的體系結(jié)構(gòu).....................1196.1.3　MapReduce的工作過(guò)程.....................1206.1.4　MapReduce的工作過(guò)程示例詞頻統(tǒng)計(jì) ............................................123 6.2　YARN 概述..........................................1266.2.1　YARN 的設(shè)計(jì)思想 .............................1266.2.2　YARN 的體系結(jié)構(gòu) .............................1266.2.3　YARN 的工作流程 .............................1286.3　在集群中運(yùn)行MapReduce任務(wù) ..........1296.3.1　Hadoop官方示例包中的測(cè)試程序 ....129 6.3.2　提交MapReduce任務(wù)給集群運(yùn)行.....129 6.4　在Eclipse中配置MapReduce環(huán)境 ......132 6.5　編寫(xiě)MapReduce詞頻統(tǒng)計(jì)程序 ..........1346.5.1　MapReduce編程步驟.........................1346.5.2　編寫(xiě)MapReduce詞頻統(tǒng)計(jì)程序.........1346.5.3　打包提交代碼運(yùn)行 ............................136習(xí)題 ...........................................................137單元 7　分布式協(xié)調(diào)服務(wù)器ZooKeeper.....................1407.1　ZooKeeper概述 ...................................1407.1.1　ZooKeeper簡(jiǎn)介.................................1407.1.2　ZooKeeper的體系結(jié)構(gòu)......................1417.1.3　ZooKeeper的數(shù)據(jù)模型......................143 7.1.4　ZooKeeper的工作原理......................144 7.2　ZooKeeper集群安裝部署 ...................145 7.2.1　在Master節(jié)點(diǎn)上安裝ZooKeeper ......145 7.2.2　配置ZooKeeper屬性文件..................146 7.2.3　將Master節(jié)點(diǎn)上的ZooKeeper 安裝文件復(fù)制到Slave節(jié)點(diǎn)和Slave2節(jié)點(diǎn)上 .................................147 7.2.4　啟動(dòng) ZooKeeper 集群........................147 7.2.5　測(cè)試ZooKeeper集群..........................148 7.3　ZooKeeper的簡(jiǎn)單操作 .......................149 7.3.1　使用zkServer.sh 腳本進(jìn)行的操作 ......149 7.3.2　ZooKeeper的常用Shell命令 ..............151 習(xí)題 ...........................................................151 單元 8　分布式數(shù)據(jù)庫(kù)HBase..........1528.1　HBase概述 ..........................................152 8.1.1　HBase簡(jiǎn)介 ..........................................152 8.1.2　HBase的數(shù)據(jù)模型 ..............................153 8.1.3　HBase的物理存儲(chǔ) ..............................156 8.1.4　HBase的體系結(jié)構(gòu) ..............................157 8.1.5　HBase的工作原理 ..............................159 8.2　HBase集群的安裝部署 ......................160 8.2.1　在Master節(jié)點(diǎn)上安裝HBase...............160 8.2.2　在Master節(jié)點(diǎn)上配置HBase...............161 8.2.3　將HBase安裝文件復(fù)制到Slave 和Slave2節(jié)點(diǎn)上 .................................162 8.2.4　啟動(dòng)HBase ..........................................163 8.2.5　驗(yàn)證HBase ..........................................163 8.2.6　停止HBase ..........................................164 8.3　常用的HBase Shell命令.....................164 習(xí)題　 ..........................................................170 單元 9　數(shù)據(jù)倉(cāng)庫(kù)Hive....................1719.1　Hive概述 .............................................171 9.1.1　數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介 ....................................171 9.1.2　Hive簡(jiǎn)介.............................................172 9.1.3　Hive的體系結(jié)構(gòu).................................173 9.1.4　Hive的工作原理.................................174 9.1.5　Hive的數(shù)據(jù)類型與存儲(chǔ)格式.............174 9.1.6　Hive的數(shù)據(jù)模型.................................176 9.2　Hive的安裝部署 ................................. 176 9.2.1　安裝Hive ............................................177 9.2.2　安裝配置 MySQL ..............................177 9.2.3　配置Hive.............................................182 9.2.4　啟動(dòng)Hive安裝.....................................183 9.3　Hive Shell操作 .................................... 183 9.4　Hive數(shù)據(jù)導(dǎo)入的實(shí)例 ......................... 186 習(xí)題　 .......................................................... 190 單元 10　Sqoop的安裝和使用...........19110.1　Sqoop概述 ......................................... 191 10.1.1 Sqoop簡(jiǎn)介 ........................................191 10.1.2　Sqoop的工作原理 ............................192 10.2　Sqoop的安裝、配置和運(yùn)行 ............. 194 10.2.1　安裝Sqoop ........................................194 10.2.2　配置MySQL連接器 .........................195 10.2.3　配置環(huán)境變量 ..................................195 10.2.4　啟動(dòng)并驗(yàn)證 Sqoop ...........................196 10.3　Sqoop的應(yīng)用 ..................................... 198 10.3.1　從MySQL數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù)到HDFS中 ........................................198 10.3.2　從Hive或HDFS中導(dǎo)出數(shù)據(jù)到MySQL數(shù)據(jù)庫(kù) .............................202 10.3.3　腳本打包 ..........................................203 習(xí)題 ........................................................... 204 單元 11　Flume.............................20511.1 　Flume概述 ......................................... 205 11.1.1 　Flume簡(jiǎn)介 ........................................205 11.1.2 　Flume的工作原理 ............................206 11.2 　Flume的安裝配置 ............................. 210 11.2.1 　下載安裝包并解壓 ..........................210 11.2.2 　配置環(huán)境變量 .................................. 211 11.2.3 　配置flume-env.sh 文件 ......................21111.2.4 　驗(yàn)證flume .........................................21111.3 　Flume的常用操作命令 .....................21211.4 　Flume的應(yīng)用 .....................................21311.4.1 　Flume的配置和運(yùn)行 ........................21311.4.2 　Flume的簡(jiǎn)單實(shí)例 ............................215習(xí)題 ...........................................................216單元 12　流計(jì)算框架Storm...................21712.1　Storm概述 .........................................21712.1.1　Storm簡(jiǎn)介 ........................................21712.1.2　Storm的工作原理 ............................21812.1.3　Storm的數(shù)據(jù)模型 ............................22012.2　Storm集群的搭建 .............................22112.2.1　在Master節(jié)點(diǎn)上安裝Storm .............22112.2.2　將Storm安裝文件復(fù)制到Slave、Slave2、Slave3節(jié)點(diǎn) ............222 12.2.3　啟動(dòng)Storm集群 ................................22312.2.4　測(cè)試Storm集群 ................................22312.3　向Storm集群提交任務(wù) .....................224習(xí)題 ...........................................................225單元 13　Kafka.............................22613.1　Kafka概述 .........................................22613.1.1　Kafka簡(jiǎn)介.........................................22613.1.2　Kafka的體系結(jié)構(gòu).............................22713.1.3　Kafka的工作原理.............................22813.1.4　Kafka使用場(chǎng)景.................................22913.2　安裝配置和使用Kafka .....................22913.2.1　安裝Kafka.........................................22913.2.2　配置Kafka.........................................23013.2.3　啟動(dòng)并使用Kafka.............................230習(xí)題 ...........................................................233單元 14　基于云虛擬實(shí)訓(xùn)平臺(tái)的學(xué)情分析系統(tǒng)...........................23414.1　項(xiàng)目簡(jiǎn)介 ...........................................23414.1.1　唯眾云虛擬實(shí)訓(xùn)平臺(tái)介紹 ..............23514.1.2　學(xué)情分析系統(tǒng)需求分析 ..................23514.1.3　學(xué)情分析系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì) ..............24014.2　獲取云虛擬平臺(tái)日志內(nèi)容 ...............24314.2.1　使用爬蟲(chóng)獲取數(shù)據(jù) .........................24314.2.2　將抓取的數(shù)據(jù)上傳到HDFS ............25314.2.3　使用MapReduce對(duì)數(shù)據(jù)進(jìn)行清洗...256 14.3　創(chuàng)建封裝數(shù)據(jù)的javaBean ................25814.3.1　LoginLogBean.java （登錄日志） ..................................258 14.3.2　OperationLogBean.java （操作日志信息） ..........................260 14.4　數(shù)據(jù)清洗 ...........................................26414.4.1　數(shù)據(jù)標(biāo)記與封裝（LoginLogParse.java） ..................264 14.4.2　數(shù)據(jù)標(biāo)記與封裝（OperationLogParse.java）............265 14.4.3　數(shù)據(jù)清洗與輸出登錄日志（LoginLogProcess.java） ..............265 14.4.4　數(shù)據(jù)清洗與輸出操作日志（OperationLogProcess.java） ........267 14.5　對(duì)結(jié)果進(jìn)行分析及可視化 ...............26814.5.1　ECharts介紹 .....................................26814.5.2　對(duì)清洗后的數(shù)據(jù)分析 ......................26914.5.3　使用ECharts展示 .............................273參考文獻(xiàn) ....................................................308

你還可能感興趣

我要評(píng)論