本書是從大數(shù)據(jù)和云計算相結合的視角,系統(tǒng)地介紹大數(shù)據(jù)云架構技術與實踐的專業(yè)圖書,全書分為五篇19章,分別介紹大數(shù)據(jù)云計算的概論、關鍵技術、體系架構、云架構實踐與編程和安全。本書層次清晰,結構合理,主要內容包括大數(shù)據(jù)云計算關系、大數(shù)據(jù)應用價值、分布式計算、NoSQL數(shù)據(jù)庫、機器學習、虛擬化、Docker容器、Web 2.0、綠色數(shù)據(jù)中心、基礎設計即服務(IaaS)、平臺即服務(PaaS)、軟件即服務(SaaS)、容器即服務(CaaS)、大數(shù)據(jù)云架構搭建、Spark大數(shù)據(jù)編程、大數(shù)據(jù)和云計算面臨的安全威脅、保障大數(shù)據(jù)安全、應用大數(shù)據(jù)保障安全等。
本書可作為高年級本科生和研究生教材,也可作為廣大科學技術人員和計算機愛好者的參考書。
作者著眼于大數(shù)據(jù)和云計算有機結合的視角,從理論探索和應用實踐兩個方面來撰寫本書,適合對大數(shù)據(jù)和云計算具有初步認識并希望對大數(shù)據(jù)云架構進行深入、全面了解,并進行關實踐的計算機信息相關專業(yè)高年級本科生使用,同時本書也將成為廣大專業(yè)工程技術人員不可缺少的參考資料。
目錄
第1篇大數(shù)據(jù)云計算概論
第1章大數(shù)據(jù)概述
1.1大數(shù)據(jù)產生與發(fā)展
1.1.1大數(shù)據(jù)產生背景
1.1.2大數(shù)據(jù)發(fā)展歷程
1.1.3當前大數(shù)據(jù)
1.2大數(shù)據(jù)概念與特征
1.2.1大數(shù)據(jù)概念
1.2.2大數(shù)據(jù)的特點
1.3大數(shù)據(jù)應用
1.3.1企業(yè)內部大數(shù)據(jù)應用
1.3.2物聯(lián)網(wǎng)大數(shù)據(jù)應用
1.3.3面向在線社交網(wǎng)絡大數(shù)據(jù)的應用
1.3.4醫(yī)療健康大數(shù)據(jù)應用
1.3.5群智感知
1.3.6智能電網(wǎng)
1.4大數(shù)據(jù)的研究與展望
1.5本章小結
第2章大數(shù)據(jù)和云計算
2.1大數(shù)據(jù)和云計算的關系
2.1.1大數(shù)據(jù)和云計算關系概述
2.1.2云計算是大數(shù)據(jù)處理的基礎
2.1.3大數(shù)據(jù)是云計算的延伸
2.2云計算概念
2.2.1云的興起
2.2.2云計算的定義及其特點
2.2.3云計算名稱的來歷
2.3云計算類型
2.3.1基礎設施類
2.3.2平臺類
2.3.3應用類
2.3.4以所有權劃分云計算系統(tǒng)類型
2.4云計算商業(yè)模式
2.4.1商業(yè)模式是云計算的基石
2.4.2云計算的市場規(guī)模
2.4.3云計算商業(yè)模式分析
2.5本章小結
第3章大數(shù)據(jù)應用價值
3.1大數(shù)據(jù)在電子商務中的應用
3.1.1大數(shù)據(jù)是電子商務發(fā)展要素
3.1.2電子商務大數(shù)據(jù)的實用措施
3.1.3電子商務大數(shù)據(jù)的轉型路徑
3.2大數(shù)據(jù)在金融的應用
3.2.1大數(shù)據(jù)金融的提出
3.2.2大數(shù)據(jù)金融的功能
3.2.3大數(shù)據(jù)金融的挑戰(zhàn)
3.2.4大數(shù)據(jù)金融創(chuàng)新
3.3大數(shù)據(jù)在媒體的應用
3.3.1傳統(tǒng)媒體的不足
3.3.2大數(shù)據(jù)驅動傳統(tǒng)媒體的升級
3.3.3大數(shù)據(jù)引領新媒體發(fā)展
3.4大數(shù)據(jù)在醫(yī)療上的應用
3.4.1大數(shù)據(jù)改進臨床決策支持系統(tǒng)
3.4.2大數(shù)據(jù)助推醫(yī)療產品研發(fā)
3.4.3大數(shù)據(jù)催生新醫(yī)療服務模式
3.5大數(shù)據(jù)在教育上的應用
3.5.1大數(shù)據(jù)教育與傳統(tǒng)教育的優(yōu)勢
3.5.2大數(shù)據(jù)教學模式的不斷改善
3.5.3教育大數(shù)據(jù)市場的廣闊前景
3.5.4大數(shù)據(jù)變革教育應用的實踐措施
3.6本章小結
第2篇大數(shù)據(jù)云計算關鍵技術
第4章分布式計算框架
4.1分布式計算基本概念
4.1.1分布式計算與并行計算
4.1.2分布式計算和并行計算的比較
4.2Hadoop系統(tǒng)介紹
4.2.1Hadoop發(fā)展歷程
4.2.2Hadoop使用場景和特點
4.2.3Hadoop項目組成
4.3分布式文件系統(tǒng)
4.3.1分布式文件系統(tǒng)概述
4.3.2HDFS架構
4.3.3HDFS設計特點
4.4MapReduce計算模型
4.4.1MapReduce概述
4.4.2MapReduce應用實例
4.4.3MapReduce實現(xiàn)和架構
4.5分布式協(xié)同控制
4.5.1常見分布式并發(fā)控制方法
4.5.2Google Chubby并發(fā)鎖
4.6Spark計算框架
4.6.1Spark簡介
4.6.2Spark生態(tài)系統(tǒng)
4.7Flink計算框架
4.7.1Flink簡介
4.7.2Flink中的調度簡述
4.7.3Flink的生態(tài)圈
4.8本章小結
第5章NoSQL數(shù)據(jù)庫
5.1NoSQL數(shù)據(jù)庫概述
5.1.1NoSQL數(shù)據(jù)庫的4大分類
5.1.2數(shù)據(jù)庫系統(tǒng)CAP理論和BASE理論
5.1.3NoSQL的共同特征
5.2Hbase數(shù)據(jù)庫
5.2.1HBase簡介
5.2.2HBase訪問接口
5.2.3HBase數(shù)據(jù)模型
5.2.4MapReduce on HBase
5.2.5HBase系統(tǒng)架構
5.3本章小結
第6章機器學習
6.1機器學習概述
6.1.1機器學習分類
6.1.2機器學習發(fā)展歷程
6.2機器學習常用的算法
6.2.1回歸算法
6.2.2基于實例的算法
6.2.3正則化方法
6.2.4決策樹算法
6.2.5貝葉斯方法
6.2.6基于核的算法
6.2.7聚類算法
6.2.8關聯(lián)規(guī)則學習
6.2.9遺傳算法
6.2.10人工神經(jīng)網(wǎng)絡
6.2.11深度學習
6.2.12降低維度算法
6.2.13集成算法
6.3本章小結
第7章虛擬化
7.1虛擬化概述
7.1.1虛擬化發(fā)展歷史
7.1.2虛擬化技術的發(fā)展熱點和趨勢
7.1.3虛擬化技術的概念
7.2虛擬化的分類
7.2.1從實現(xiàn)的層次劃分
7.2.2從應用的領域劃分
7.3應用虛擬化
7.3.1應用虛擬化的使用特點
7.3.2應用虛擬化的優(yōu)勢
7.3.3應用虛擬化要考慮的問題
7.4桌面虛擬化
7.4.1桌面虛擬化優(yōu)勢
7.4.2桌面虛擬化使用條件
7.5服務器虛擬化
7.5.1服務器虛擬化架構
7.5.2CPU虛擬化
7.5.3內存虛擬化
7.5.4I/O虛擬化
7.6網(wǎng)絡虛擬化
7.6.1傳統(tǒng)網(wǎng)絡虛擬化技術
7.6.2主機網(wǎng)絡虛擬化
7.6.3網(wǎng)絡設備虛擬化
7.7存儲虛擬化
7.7.1存儲虛擬化概述
7.7.2按照不同層次劃分存儲虛擬化
7.7.3按照實現(xiàn)方式不同劃分存儲虛擬化
7.8本章小結
第8章Docker容器
8.1Docker容器概述
8.1.1Docker容器的由來
8.1.2Docker定義
8.1.3Docker的優(yōu)勢
8.2Docker的原理
8.2.1Linux
Namespace(ns)
8.2.2Control
Groups(cgroups)
8.2.3Linux容器(LXC)
8.2.4AUFS
8.2.5Grsec
8.3Docker技術發(fā)展與應用
8.3.1Docker解決的問題
8.3.2Docker的未來發(fā)展
8.3.3Docker技術的局限
8.4本章小結
第9章Web 2.0
9.1Web 2.0產生背景和定義
9.1.1Web 2.0產生背景
9.1.2Web 2.0的概念
9.1.3Web 2.0和Web 1.0比較
9.1.4Web 2.0特征
9.2Web 2.0應用產品
9.2.1Web 2.0主要應用產品
9.2.2主要產品的區(qū)別
9.3Web 2.0相關技術
9.3.1Web 2.0的設計模式
9.3.2Web標準
9.3.3向Web標準過渡
9.4本章小結
第10章綠色數(shù)據(jù)中心
10.1綠色數(shù)據(jù)中心概述
10.1.1云數(shù)據(jù)中心發(fā)展階段
10.1.2綠色數(shù)據(jù)中心架構
10.1.3云數(shù)據(jù)中心需要整合的資源
10.2數(shù)據(jù)中心管理和維護
10.2.1實現(xiàn)端到端、大容量、可視化的基礎設施整合
10.2.2實現(xiàn)虛擬化、自動化的管理
10.2.3實現(xiàn)面向業(yè)務的應用管理和流量分析
10.3本章小結
第3篇云計算架構
第11章基礎設施即服務
11.1IaaS概述
11.1.1IaaS的定義
11.1.2IaaS提供服務的方法
11.1.3IaaS云的特征
11.1.4IaaS和虛擬化的關系
11.2IaaS技術架構
11.2.1資源層
11.2.2虛擬化層
11.2.3管理層
11.2.4服務層
11.3IaaS云計算管理
11.3.1自動化部署
11.3.2彈性能力提供技術
11.3.3資源監(jiān)控
11.3.4資源調度
11.3.5業(yè)務管理和計費度量
11.4Amazon云計算案例
11.4.1概述
11.4.2Amazon S3
11.4.3Amazon
Simple DB
11.4.4Amazon RDS
11.4.5Amazon SQS
11.4.6Amazon EC2
11.5本章小結
第12章平臺即服務
12.1PaaS概述
12.1.1PaaS的由來
12.1.2PaaS的概念
12.1.3PaaS模式的開發(fā)
12.1.4PaaS推進SaaS時代
12.2PaaS架構
12.2.1PaaS的功能
12.2.2多租戶彈性是PaaS的核心特性
12.2.3PaaS架構的核心意義
12.2.4PaaS改變未來軟件開發(fā)和維護模式
12.3Google的云計算平臺
12.3.1設計理念
12.3.2構成部分
12.3.3App Engine服務
12.4Windows Azure平臺
12.4.1Windows
Azure操作系統(tǒng)
12.4.2SQL Azure
12.4.3.NET服務
12.4.4Live服務
12.4.5Windows
Azure Platform的用途
12.5本章小結
第13章軟件即服務
13.1SaaS概述
13.1.1SaaS的由來
13.1.2SaaS的概念
13.1.3SaaS與傳統(tǒng)軟件的區(qū)別
13.1.4SaaS模式應用于信息化優(yōu)勢
13.1.5SaaS成熟度模型
13.2模式及實現(xiàn)
13.2.1SaaS商務模式
13.2.2SaaS平臺架構
13.2.3SaaS服務平臺的主要功能
13.2.4SaaS服務平臺關鍵技術
13.3Salesforce云計算案例
13.3.1Salesforce云計算產品組成
13.3.2Salesforce云計算特點
13.4本章小結
第14章容器即服務
14.1容器云服務
14.1.1云平臺架構層次
14.1.2容器云
14.1.3容器云的特點
14.2Kubernetes應用部署
14.2.1Kubernetes架構
14.2.2Kubernetes模型
14.2.3內部使用者的服務發(fā)現(xiàn)
14.2.4外部訪問Service
14.3Mesos應用
14.3.1Mesos體系結構和工作流
14.3.2Mesos流程
14.3.3Mesos資源分配
14.3.4Mesos優(yōu)勢
14.4基于Kubernetes打造SAE容器云
14.4.1Kubernetes 的好處
14.4.2容器云網(wǎng)絡
14.4.3容器云存儲
14.5基于Mesos去哪兒網(wǎng)容器云
14.5.1背景
14.5.2應用Mesos構建容器云
14.5.3云環(huán)境構建
14.6本章小結
第4篇大數(shù)據(jù)云架構實踐與編程
第15章大數(shù)據(jù)云架構搭建
15.1分布式Hadoop與Spark集群搭建
15.1.1Hadoop集群構建
15.1.2Spark集群構建
15.2基于Docker大數(shù)據(jù)云架構
15.2.1簡介
15.2.2Docker和Weave搭建
15.2.3Hadoop集群鏡像搭建
15.2.4集群部署與啟動
15.2.5基于Ambari管理平臺的鏡像搭建
15.2.6桌面系統(tǒng)XFCE搭建
15.3本章小結
第16章Spark大數(shù)據(jù)編程
16.1Spark應用開發(fā)環(huán)境配置
16.1.1使用Intellij開發(fā)Spark程序
16.1.2使用Spark Shell開發(fā)運行Spark程序
16.2Spark大數(shù)據(jù)編程
16.2.1WordCount
16.2.2股票趨勢預測
16.3本章小結
第5篇大數(shù)據(jù)安全
第17章大數(shù)據(jù)云計算面臨的安全威脅
17.1大數(shù)據(jù)云計算的安全問題
17.1.1大數(shù)據(jù)基礎設施安全威脅
17.1.2大數(shù)據(jù)存儲安全威脅
17.1.3大數(shù)據(jù)云架構網(wǎng)絡安全威脅
17.1.4大數(shù)據(jù)帶來隱私問題
17.1.5針對大數(shù)據(jù)的高級持續(xù)性攻擊
17.1.6其他安全威脅
17.2不同領域大數(shù)據(jù)的安全需求
17.2.1因特網(wǎng)行業(yè)
17.2.2電信行業(yè)
17.2.3金融行業(yè)
17.2.4醫(yī)療行業(yè)
17.2.5政府組織
17.3大數(shù)據(jù)安全內涵
17.3.1保障大數(shù)據(jù)安全
17.3.2大數(shù)據(jù)用于安全領域
17.4大數(shù)據(jù)安全研究方向
17.4.1大數(shù)據(jù)安全保障技術
17.4.2大數(shù)據(jù)安全應用技術
17.5本章小結
第18章保障大數(shù)據(jù)安全
18.1大數(shù)據(jù)安全的關鍵技術
18.1.1非關系數(shù)據(jù)庫安全策略
18.1.2防范APT攻擊
18.2大數(shù)據(jù)安全保障實踐
18.2.1大數(shù)據(jù)采集與存儲的安全防護
18.2.2大數(shù)據(jù)挖掘與應用的安全防護
18.2.3大數(shù)據(jù)安全審計
18.2.4大數(shù)據(jù)安全評估與安全管理
18.2.5數(shù)據(jù)中心的安全保障
18.3本章小結
第19章應用大數(shù)據(jù)保障安全
19.1大數(shù)據(jù)安全檢測及應用
19.1.1安全檢測與大數(shù)據(jù)的融合
19.1.2用戶上網(wǎng)流量數(shù)據(jù)的挖掘與分析
19.2安全大數(shù)據(jù)
19.2.1數(shù)據(jù)挖掘方法
19.2.2挖掘目標及評估
19.3基于大數(shù)據(jù)的網(wǎng)絡態(tài)勢感知
19.3.1態(tài)勢感知定義
19.3.2網(wǎng)絡態(tài)勢感知
19.3.3基于流量數(shù)據(jù)的網(wǎng)絡安全感知
19.3.4基于大數(shù)據(jù)分析的網(wǎng)絡優(yōu)化
19.3.5網(wǎng)絡安全感知應用實踐
19.4視頻監(jiān)控數(shù)據(jù)的安全應用
19.4.1視頻監(jiān)控數(shù)據(jù)的處理需求
19.4.2視頻監(jiān)控數(shù)據(jù)挖掘技術
19.4.3海量視頻監(jiān)控數(shù)據(jù)的分析與處理
19.5本章小結
參考文獻