日韩免费无遮挡毛片一区,老司机亚洲精品

《大數(shù)據(jù)基礎(chǔ)與應(yīng)用》共分為12章，第1章介紹了大數(shù)據(jù)產(chǎn)生的背景、大數(shù)據(jù)的結(jié)構(gòu)與特征、大數(shù)據(jù)相關(guān)概念、大數(shù)據(jù)可視化、大數(shù)據(jù)相關(guān)工具與發(fā)展前景。第2~9章為基礎(chǔ)知識(shí)部分，介紹了大數(shù)據(jù)的生態(tài)系統(tǒng)全貌，重點(diǎn)對計(jì)算平臺(tái)Hadoop、分布式文件系統(tǒng)HDFS、計(jì)算框架MapReduce、開源數(shù)據(jù)庫HBase、典型工具NoSQL、集群計(jì)算Spark、流計(jì)算Storm和分布式協(xié)調(diào)系統(tǒng)Zookeeper等相關(guān)技術(shù)進(jìn)行了詳細(xì)介紹，通過實(shí)例使讀者具備解決實(shí)際問題的能力。第10~12章為典型應(yīng)用案例部分，介紹了大數(shù)據(jù)分析應(yīng)用系統(tǒng)的開發(fā)過程，涵蓋了數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)轉(zhuǎn)換和結(jié)果顯示的整個(gè)交互式大數(shù)據(jù)處理和分析流程。
《大數(shù)據(jù)基礎(chǔ)與應(yīng)用》內(nèi)容豐富、條理清晰、示例指導(dǎo)性強(qiáng)，讀者可以通過章后的習(xí)題對所學(xué)內(nèi)容作進(jìn)一步鞏固，熟練掌握大數(shù)據(jù)基本原理、工程應(yīng)用場景及實(shí)驗(yàn)分析技巧。
《大數(shù)據(jù)基礎(chǔ)與應(yīng)用》適合作為大中專院校數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)、計(jì)算機(jī)類專業(yè)的教材，也可以作為讀者自學(xué)或者科研技術(shù)人員的參考書。

近年來，大數(shù)據(jù)浪潮洶涌來襲，與互聯(lián)網(wǎng)一樣，這不僅是信息技術(shù)領(lǐng)域的革命，更是在全球范圍加速企業(yè)創(chuàng)新、引領(lǐng)社會(huì)變革的利器�，F(xiàn)代管理學(xué)之父德魯克說過，預(yù)測未來最好的方法，就是去創(chuàng)造未來。而大數(shù)據(jù)戰(zhàn)略正是當(dāng)下領(lǐng)航全球的先機(jī)。大數(shù)據(jù)指一般的軟件工具難以捕捉、管理和分析的大容量數(shù)據(jù)。大數(shù)據(jù)之大，并不僅在于容量之大，更在于其通過對海量數(shù)據(jù)的交換、整合和分析，發(fā)現(xiàn)新的知識(shí)、創(chuàng)造新的價(jià)值，帶來大知識(shí)大科技大利潤和大發(fā)展。
數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)，簡稱數(shù)科或大數(shù)據(jù)專業(yè)，旨在培養(yǎng)具有大數(shù)據(jù)思維、運(yùn)用大數(shù)據(jù)思維研究及分析的高層次大數(shù)據(jù)人才，掌握計(jì)算機(jī)理論和大數(shù)據(jù)處理技術(shù)，從數(shù)據(jù)管理、系統(tǒng)開發(fā)、海量數(shù)據(jù)分析與挖掘三個(gè)層面系統(tǒng)地培養(yǎng)學(xué)生掌握大數(shù)據(jù)應(yīng)用中的各種典型問題的解決辦法，提升學(xué)生解決實(shí)際問題的能力。
基本內(nèi)容
本書共分為12章，各章主要內(nèi)容如下。
第1章主要對大數(shù)據(jù)產(chǎn)生的背景、大數(shù)據(jù)的結(jié)構(gòu)與特征、大數(shù)據(jù)相關(guān)概念、大數(shù)據(jù)可視化、大數(shù)據(jù)處理相關(guān)工具與發(fā)展前景進(jìn)行了介紹。通過第1章的學(xué)習(xí)，讀者能夠初步掌握大數(shù)據(jù)的基本知識(shí)，熟悉大數(shù)據(jù)處理與分析的操作環(huán)境及可視化方法，為后面的進(jìn)一步學(xué)習(xí)打下堅(jiān)實(shí)的基礎(chǔ)。
第2章主要介紹了分布式計(jì)算平臺(tái)Hadoop及其基礎(chǔ)知識(shí)、Hadoop發(fā)展史、Hadoop體系結(jié)構(gòu)等，讓讀者對Hadoop有一個(gè)簡單的認(rèn)識(shí)，了解如何在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用。
第3章首先介紹分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計(jì)需求，然后介紹HDFS，詳細(xì)闡述它的重要概念、體系結(jié)構(gòu)、存儲(chǔ)原理和讀寫過程，最后介紹了一些HDFS編程實(shí)踐方面的知識(shí)。
第4章著重介紹了MapReduce分而治之，迭代匯總的處理海量數(shù)據(jù)的并行編程模型和計(jì)算框架，讓讀者了解MapReduce的數(shù)據(jù)類型與格式、序列化、數(shù)據(jù)分片、MapReduce的架構(gòu)與接口類，通過單詞計(jì)數(shù)程序?qū)⑸鲜鲋R(shí)點(diǎn)串聯(lián)并闡述MapReduce的思想。
第5章詳細(xì)地介紹了HBase開源數(shù)據(jù)庫，HBase的安裝與配置、常用API、HBase架構(gòu)及實(shí)現(xiàn)原理等，使讀者快速對HBase有一個(gè)全方面的了解。
第6章著重介紹了NoSQL的基礎(chǔ)，一致性策略、數(shù)據(jù)分區(qū)與放置策略、數(shù)據(jù)復(fù)制與容錯(cuò)、數(shù)據(jù)緩存等，結(jié)合NoSQL典型應(yīng)用工具，結(jié)合實(shí)例簡明扼要地?cái)⑹隽薔oSQL的基本應(yīng)用。
第7章闡述了Spark生態(tài)系統(tǒng)全貌，包含SparkSQL、Spark Streaming、GraphX、MLlib等，了解Spark的功能、特點(diǎn)以及場景應(yīng)用。通過對Spark的安裝部署，基本操作和運(yùn)行模式，并通過編程實(shí)例來加深了解運(yùn)用Spark的相關(guān)知識(shí)。
第8章首先介紹了Storm流計(jì)算的基本概念和需求，闡述了流計(jì)算的處理流程、應(yīng)用場景、Storm的設(shè)計(jì)思想和架構(gòu)設(shè)計(jì)，最后介紹了Spark Streaming及其應(yīng)用實(shí)例。
第9章介紹了分布式協(xié)調(diào)系統(tǒng)Zookeeper概念及其主要特征和數(shù)據(jù)模型、Zookeeper的安裝和配置、Zookeeper API的簡單使用、Zookeeper shell的操作，最后介紹了一個(gè)選舉案例讓讀者更深入地了解Zookeeper的作用及應(yīng)用。
第10章通過銷售數(shù)據(jù)分析系統(tǒng)的應(yīng)用案例，介紹了大數(shù)據(jù)分析應(yīng)用系統(tǒng)的完整開發(fā)過程，涵蓋了數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)轉(zhuǎn)換和結(jié)果顯示的整個(gè)流程。
第11章介紹了在Hadoop平臺(tái)上進(jìn)行交互式數(shù)據(jù)處理的方法，然后介紹了利用Hive 基本工具進(jìn)行實(shí)時(shí)交互式大數(shù)據(jù)的處理和分析。
第12章介紹了協(xié)同推薦算法的基本概念和幾種典型分類。利用Spark MLlib實(shí)現(xiàn)了協(xié)同過濾推薦算法及協(xié)同交互過程。
本書特點(diǎn)
本書編者長期給本科生和研究生講授數(shù)據(jù)庫、數(shù)據(jù)挖掘、物聯(lián)網(wǎng)和云計(jì)算等與大數(shù)據(jù)相關(guān)的課程，有著豐富的教學(xué)實(shí)踐和科研經(jīng)驗(yàn)。本書內(nèi)容條理清晰，并按照讀者學(xué)習(xí)的一般規(guī)律由淺入深、循序漸進(jìn)，并配以大量的圖片說明和實(shí)例講解，能夠使讀者快速地了解和掌握大數(shù)據(jù)原理及應(yīng)用案例。
讀者對象
● 大數(shù)據(jù)基礎(chǔ)知識(shí)的初學(xué)者。
● 具有一定大數(shù)據(jù)基礎(chǔ)并希望更深入了解、掌握大數(shù)據(jù)原理與應(yīng)用的中級讀者。
本書適合作為大中專院校數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)、計(jì)算機(jī)類專業(yè)的教材，也可作為從事大數(shù)據(jù)挖掘等工作的科研或者工程技術(shù)人員的參考書。
本書由趙國生、王健和宋一兵主編。哈爾濱師范大學(xué)趙國生主要負(fù)責(zé)第1~8章，哈爾濱理工大學(xué)王健負(fù)責(zé)第9、10章，宋一兵負(fù)責(zé)第11、12章。參加本書編寫工作的還有管殿柱、王獻(xiàn)紅、李文秋，學(xué)生曲曉峰、張慧、蔣欣洋、陳炫慧、賀敬、張志敏等為本書做了大量輔助性工作，在此一并感謝。
本書得到了以下項(xiàng)目的支持：國家自然科學(xué)基金項(xiàng)目可生存系統(tǒng)的自主認(rèn)知模式研究（61202458）、國家自然科學(xué)基金項(xiàng)目基于認(rèn)知循環(huán)的任務(wù)關(guān)鍵系統(tǒng)可生存性自主增長模型與方法（61403109）、高等學(xué)校博士點(diǎn)基金項(xiàng)目（20112303120007）、哈爾濱市科技創(chuàng)新人才研究專項(xiàng)（2016RAQXJ036）和黑龍江省自然科學(xué)基金（F2017021）。
雖然編者在編寫本書的過程中力求敘述準(zhǔn)確、完善，但由于水平有限，書中欠妥之處在所難免，希望讀者將對本書的意見和建議告訴我們。

前言
第1章初識(shí)大數(shù)據(jù)
1.1大數(shù)據(jù)產(chǎn)生的背景
1.2大數(shù)據(jù)的結(jié)構(gòu)與特征
1.2.1大數(shù)據(jù)的結(jié)構(gòu)
1.2.2大數(shù)據(jù)的特征
1.3大數(shù)據(jù)相關(guān)概念
1.3.1大數(shù)據(jù)關(guān)鍵技術(shù)
1.3.2數(shù)據(jù)類型與數(shù)據(jù)管理
1.3.3數(shù)據(jù)倉庫
1.3.4數(shù)據(jù)挖掘
1.4大數(shù)據(jù)可視化
1.4.1什么是數(shù)據(jù)可視化
1.4.2數(shù)據(jù)可視化的工具與方法
1.4.3數(shù)據(jù)可視化的建模
1.4.4數(shù)據(jù)可視化分類
1.5大數(shù)據(jù)相關(guān)工具
1.5.1Hadoop
1.5.2R語言
1.5.3Python語言
1.5.4RapidMiner
1.5.5Tableau
1.6大數(shù)據(jù)時(shí)代的新機(jī)遇
1.6.1數(shù)據(jù)價(jià)值
1.6.2應(yīng)用價(jià)值
1.6.3發(fā)展前景
1.7本章小結(jié)
1.8習(xí)題
第2章大數(shù)據(jù)處理架構(gòu)Hadoop
2.1Hadoop簡介
2.2Hadoop發(fā)展史及特點(diǎn)
2.3Hadoop體系結(jié)構(gòu)
2.3.1HDFS體系結(jié)構(gòu)
2.3.2MapReduce體系結(jié)構(gòu)
2.4配置Linux環(huán)境
2.4.1安裝VMware12虛擬機(jī)
2.4.2部署CentOS 64位操作系統(tǒng)
2.4.3配置網(wǎng)絡(luò)
2.4.4Linux終端
2.5Hadoop環(huán)境搭建
2.5.1JDK安裝和測試
2.5.2Hadoop安裝和配置
2.5.3SSH免密碼配置
2.6Hadoop關(guān)鍵組件
2.6.1HDFS
2.6.2HBase
2.6.3MapReduce
2.6.4Hive
2.6.5Pig
2.6.6Mahout
2.6.7ZooKeeper
2.6.8Flume
2.6.9Sqoop
2.6.10Ambari
2.7本章小結(jié)
2.8習(xí)題
第3章分布式文件系統(tǒng)HDFS
3.1HDFS概念
3.1.1HDFS簡介
3.1.2HDFS相關(guān)概念
3.2HDFS體系結(jié)構(gòu)
3.3HDFS文件存儲(chǔ)機(jī)制
3.4HDFS的數(shù)據(jù)讀寫過程
3.4.1讀數(shù)據(jù)的過程
3.4.2寫數(shù)據(jù)的過程
3.5HDFS應(yīng)用實(shí)踐
3.5.1HDFS常用命令
3.5.2HDFS的Web界面
3.5.3HDFS常用Java API及應(yīng)用實(shí)例
3.6本章小結(jié)
3.7習(xí)題
第4章計(jì)算系統(tǒng)MapReduce
4.1MapReduce概述
4.1.1MapReduce簡介
4.1.2MapReduce 數(shù)據(jù)類型與格式
4.1.3數(shù)據(jù)類型Writable接口
4.1.4Hadoop序列化與反序列化機(jī)制
4.2MapReduce架構(gòu)
4.2.1數(shù)據(jù)分片
4.2.2MapReduce的集群行為
4.2.3MapReduce作業(yè)執(zhí)行過程
4.3MapReduce接口類
4.3.1MapReduce輸入的處理類
4.3.2MapReduce輸出的處理類
4.4MapReduce應(yīng)用案例單詞計(jì)數(shù)
程序
4.4.1WordCount代碼分析
4.4.2WordCount處理過程
4.5本章小結(jié)
4.6習(xí)題
第5章分布式數(shù)據(jù)庫HBase
5.1初識(shí)HBase
5.1.1HBase的來源
5.1.2HBase的特點(diǎn)
5.1.3HBase的系統(tǒng)架構(gòu)
5.2HBase安裝與配置
5.2.1HBase運(yùn)行模式分類
5.2.2Hbase的安裝
5.2.3HBase基本API實(shí)例
5.2.4HBase Shell工具使用
5.3Hbase的存儲(chǔ)結(jié)構(gòu)
5.3.1存儲(chǔ)結(jié)構(gòu)中重要模塊
5.3.2HBase物理存儲(chǔ)和邏輯視圖
5.3.3數(shù)據(jù)坐標(biāo)
5.4HBase的實(shí)現(xiàn)原理
5.4.1Hbase的讀寫流程
5.4.2表和Region
5.4.3Region的定位
5.5HBase表結(jié)構(gòu)設(shè)計(jì)
5.5.1列族定義
5.5.2表設(shè)計(jì)原則
5.5.3Rowkey設(shè)計(jì)
5.6本章小結(jié)
5.7習(xí)題
第6章NoSQL數(shù)據(jù)庫
6.1NoSQL簡介
6.1.1NoSQL的含義
6.1.2NoSQL的產(chǎn)生
6.1.3NoSQL的特點(diǎn)
6.2NoSQL技術(shù)基礎(chǔ)
6.2.1一致性策略
6.2.2數(shù)據(jù)分區(qū)與放置策略
6.2.3數(shù)據(jù)復(fù)制與容錯(cuò)技術(shù)
6.2.4數(shù)據(jù)的緩存技術(shù)
6.3NoSQL的類型
6.3.1鍵值存儲(chǔ)
6.3.2列存儲(chǔ)
6.3.3面向文檔存儲(chǔ)
6.3.4圖形存儲(chǔ)
6.4NoSQL典型工具
6.4.1Redis
6.4.2CouchDB
6.5本章小結(jié)
6.6習(xí)題
第7章集群計(jì)算Spark
7.1深入理解Spark
7.1.1Spark簡介
7.1.2Spark與Hadoop差異
7.1.3Spark的適用場景
7.1.4Spark成功案例
7.2Spark的安裝與配置
7.2.1安裝模式
7.2.2Spark的安裝
7.2.3啟動(dòng)并驗(yàn)證Spark
7.3Spark程序的運(yùn)行模式
7.3.1Spark on Yarn-cluster
7.3.2Spark on Yarn-client
7.4Spark編程實(shí)踐
7.4.1啟動(dòng)Spark Shell
7.4.2Spark RDD基本操作
7.4.3Spark應(yīng)用程序
7.5Spark的三個(gè)典型應(yīng)用案例
7.5.1詞頻數(shù)統(tǒng)計(jì)
7.5.2人口的平均年齡
7.5.3搜索頻率最高的K個(gè)關(guān)鍵詞
7.6本章小結(jié)
7.7習(xí)題
第8章流計(jì)算Storm
8.1流計(jì)算概述
8.1.1流計(jì)算的概念
8.1.2流計(jì)算與Hadoop
8.1.3流計(jì)算框架
8.2開源流計(jì)算框架Storm
8.2.1Storm簡介
8.2.2Storm的特點(diǎn)
8.2.3Storm的設(shè)計(jì)思想
8.2.4Storm的框架設(shè)計(jì)
8.3實(shí)時(shí)計(jì)算處理流程
8.3.1數(shù)據(jù)實(shí)時(shí)采集和計(jì)算
8.3.2數(shù)據(jù)查詢服務(wù)
8.4典型的流引擎Spark Streaming
8.4.1Spark Streaming
8.4.2Storm和Spark Streaming框架
對比
8.5流計(jì)算的應(yīng)用案例電商
實(shí)時(shí)銷售額的監(jiān)控
8.5.1技術(shù)架構(gòu)
8.5.2技術(shù)實(shí)現(xiàn)
8.5.3項(xiàng)目預(yù)案
8.6本章小結(jié)
8.7習(xí)題
第9章分布式協(xié)調(diào)系統(tǒng)ZooKeeper
9.1ZooKeeper概述
9.1.1ZooKeeper簡介
9.1.2ZooKeeper數(shù)據(jù)模型
9.1.3ZooKeeper特征
9.1.4ZooKeeper工作原理
9.2ZooKeeper的安裝和配置
9.2.1安裝ZooKeeper
9.2.2配置ZooKeeper
9.2.3運(yùn)行ZooKeeper
9.3ZooKeeper的簡單操作及步驟
9.4ZooKeeper Shell操作
9.4.1ZooKeeper服務(wù)命令
9.4.2ZooKeeper客戶端命令
9.5ZooKeeper API操作
9.6ZooKeeper應(yīng)用案例Master
選舉
9.6.1使用場景及結(jié)構(gòu)
9.6.2編碼實(shí)現(xiàn)
9.7本章小結(jié)
9.8習(xí)題
第10章銷售數(shù)據(jù)分析系統(tǒng)
10.1數(shù)據(jù)采集
10.1.1在Windows下安裝JDK
10.1.2在Windows下安裝Eclipse
10.1.3將WebCollector項(xiàng)目導(dǎo)入
Eclipse
10.1.4在Windows下安裝MySQL
10.1.5連接JDBC
10.1.6運(yùn)行爬蟲程序
10.2在HBase集群上準(zhǔn)備數(shù)據(jù)
10.2.1將數(shù)據(jù)導(dǎo)入到MySQL
10.2.2將MySQL表中的數(shù)據(jù)導(dǎo)入到HBase
表中
10.3安裝Phoenix中間件
10.3.1Phoenix架構(gòu)
10.3.2解壓安裝Phoenix
10.3.3Phoenix環(huán)境配置
10.3.4使用Phoenix
10.4基于Web的前端開發(fā)
10.4.1將Web前端項(xiàng)目導(dǎo)入Eclipse
10.4.2安裝Tomcat
10.4.3在Eclipse中配置Tomcat
10.4.4在Web瀏覽器中查看執(zhí)行
結(jié)果
10.5本章小結(jié)
10.6習(xí)題
第11章交互式數(shù)據(jù)處理
11.1數(shù)據(jù)預(yù)處理
11.1.1查看數(shù)據(jù)
11.1.2數(shù)據(jù)擴(kuò)展
11.1.3數(shù)據(jù)過濾
11.1.4數(shù)據(jù)上傳
11.2創(chuàng)建數(shù)據(jù)倉庫
11.2.1創(chuàng)建數(shù)據(jù)倉庫的基本命令
11.2.2創(chuàng)建Hive區(qū)分表
11.3數(shù)據(jù)分析
11.3.1基本統(tǒng)計(jì)
11.3.2用戶行為分析
11.3.3實(shí)時(shí)數(shù)據(jù)
11.4本章小結(jié)
11.5習(xí)題
第12章協(xié)同過濾推薦系統(tǒng)
12.1推薦算法概述
12.1.1基于人口統(tǒng)計(jì)學(xué)的推薦
12.1.2基于內(nèi)容的推薦
12.1.3基于協(xié)同過濾的推薦
12.2協(xié)同過濾推薦算法分析
12.2.1基于用戶的協(xié)同過濾推薦
12.2.2基于物品的協(xié)同過濾推薦
12.3Spark MLlib推薦算法應(yīng)用
12.3.1ALS算法原理
12.3.2ALS的應(yīng)用設(shè)計(jì)
12.4本章小結(jié)
12.5習(xí)題
附錄課后習(xí)題答案
參考文獻(xiàn)

你還可能感興趣

我要評論