Storm技術(shù)內(nèi)幕與大數(shù)據(jù)實(shí)踐
定 價(jià):49 元
- 作者:陳敏敏王新春黃奉線
- 出版時(shí)間:2015/5/1
- ISBN:9787115388537
- 出 版 社:人民郵電出版社
- 中圖法分類:TP274
- 頁(yè)碼:192
- 紙張:膠版紙
- 版次:1
- 開(kāi)本:16K
《Storm技術(shù)內(nèi)幕與大數(shù)據(jù)實(shí)踐》內(nèi)容主要圍繞實(shí)時(shí)大數(shù)據(jù)系統(tǒng)的各個(gè)方面展開(kāi),從實(shí)時(shí)平臺(tái)總體介紹到集群源碼、運(yùn)維監(jiān)控、實(shí)時(shí)系統(tǒng)擴(kuò)展、以用戶畫(huà)像為主的數(shù)據(jù)平臺(tái),最后到推薦、廣告、搜索等具體的大數(shù)據(jù)應(yīng)用。書(shū)中提到的不少問(wèn)題是實(shí)際生產(chǎn)環(huán)境中因?yàn)閿?shù)據(jù)量增長(zhǎng)而遇到的一些真實(shí)問(wèn)題,對(duì)即將或正在運(yùn)用實(shí)時(shí)系統(tǒng)處理大數(shù)據(jù)問(wèn)題的團(tuán)隊(duì)會(huì)有所幫助。
陳敏敏 ,1號(hào)店個(gè)性精準(zhǔn)化部門資深架構(gòu)師,在此之前曾服務(wù)于微軟和三星電子等公司,長(zhǎng)期從事大數(shù)據(jù)、搜索和推薦平臺(tái)相關(guān)工作。目前主要關(guān)注于NoSQL、實(shí)時(shí)計(jì)算框架、推薦、廣告投放等相關(guān)技術(shù)。
王新春,大眾點(diǎn)評(píng)網(wǎng)數(shù)據(jù)平臺(tái)資深工程師,負(fù)責(zé)點(diǎn)評(píng)實(shí)時(shí)計(jì)算平臺(tái)相關(guān)工作,推動(dòng)流式計(jì)算和實(shí)時(shí)計(jì)算在點(diǎn)評(píng)的應(yīng)用和推廣,一直致力于大數(shù)據(jù)和分布式系統(tǒng)的研究和應(yīng)用。目前主要從事NoSQL、實(shí)時(shí)分布式系統(tǒng)的研究與開(kāi)發(fā)。
黃奉線,1號(hào)店基礎(chǔ)架構(gòu)部分布式存儲(chǔ)團(tuán)隊(duì)負(fù)責(zé)人,推動(dòng)流式計(jì)算在1號(hào)店的應(yīng)用,獲得CTO特別獎(jiǎng),長(zhǎng)期從事基礎(chǔ)架構(gòu)相關(guān)工作。目前主要關(guān)注于NoSQL、開(kāi)源、流式計(jì)算、分布式存儲(chǔ)等相關(guān)技術(shù)。
第1章 緒論
1.1 Storm的基本組件
1.1.1 集群組成
1.1.2 核心概念
1.1.3 Storm的可靠性
1.1.4 Storm的特性
1.2 其他流式處理框架
1.2.1 Ap
1.2.2 SparkSt
1.2.3 流計(jì)算和Storm的應(yīng)用
第2章 實(shí)時(shí)平臺(tái)介紹
2.1 實(shí)時(shí)平臺(tái)架構(gòu)介紹
2.2 Kafka架構(gòu)
2.2.1 Kafka的基本術(shù)語(yǔ)和概念
2.2.2 Kafka在實(shí)時(shí)平臺(tái)中的應(yīng)用
2.2.3 消息的持久化和順序讀寫(xiě)
2.2.4 sendfile系統(tǒng)調(diào)用和零復(fù)制
2.2.5 Kafka的客戶端
2.2.6 Kafka的擴(kuò)展
2.3 大眾點(diǎn)評(píng)實(shí)時(shí)平臺(tái)
2.3.1 相關(guān)數(shù)據(jù)
2.3.2 實(shí)時(shí)平臺(tái)簡(jiǎn)介
2.3.3 Bla
2.4 1號(hào)店實(shí)時(shí)平臺(tái)
第3章 Storm集群部署和配置
3.1 Storm的依賴組件
3.2 Storm的部署環(huán)境
3.3 部署Storm服務(wù)
3.3.1 部署ZooKeeper
3.3.2 部署Storm
3.3.3 配置Storm
3.4 啟動(dòng)
3.5 Storm的守護(hù)進(jìn)程
3.6 部署Storm的其他節(jié)點(diǎn)
3.7 提交Top
第4章 Storm內(nèi)部剖析
4.1 Storm客戶端
4.2 Nimbus
4.2.1 啟動(dòng)Nimbus服務(wù)
4.2.2 Nimbus服務(wù)的執(zhí)行過(guò)程
4.2.3 分配Ex
4.2.4 調(diào)度器
4.2.5 默認(rèn)調(diào)度器DefaultSch
4.2.6 均衡調(diào)度器EvenSch
4.3 Supervisor
4.3.1 ISupervisor接口
4.3.2 Supervisor的共享數(shù)據(jù)
4.3.3 Supervisor的執(zhí)行過(guò)程
4.4 Worker
4.4.1 Worker中的數(shù)據(jù)流
4.4.2 創(chuàng)建Worker的過(guò)程
4.5 Executor
4.5.1 Executor的創(chuàng)建
4.5.2 創(chuàng)建Spout的Executor
4.5.3 創(chuàng)建Bolt的Executor
4.6 Task
4.6.1 Task的上下文對(duì)象
4.6.2 Task的創(chuàng)建
4.7 Storm中的統(tǒng)計(jì)
4.7.1 stats框架
4.7.2 metric框架
4.8 Ack框架
4.8.1 Ack的原理
4.8.2 Acker Bolt
4.9 Storm總體架構(gòu)
第5章 Storm運(yùn)維和監(jiān)控
第6章 Storm的擴(kuò)展
第7章 Storm開(kāi)發(fā)
第8章 基于Storm的實(shí)時(shí)數(shù)據(jù)平臺(tái)
第9章 大數(shù)據(jù)應(yīng)用案例
第10章 Storm使用經(jīng)驗(yàn)和性能優(yōu)化
附錄A Kafka原理
附錄B 將Storm源碼導(dǎo)入Ecl