騰訊作為一家以互聯(lián)網(wǎng)為基礎(chǔ)的科技與文化公司，其互聯(lián)網(wǎng)業(yè)務(wù)與億萬網(wǎng)民的日常生活息息相關(guān)，從社交平臺出發(fā)，已拓展至娛樂、金融、資訊、工具、流量平臺等多個業(yè)務(wù)板塊。2019年，馬化騰公布騰訊公司的新愿景為用戶為本，科技向善，目前已經(jīng)踐行多個科技向善落地方案，例如與政府合作的AI尋人、AI醫(yī)學(xué)影像產(chǎn)品騰訊覓影，以及培育高產(chǎn)量AI黃瓜等項目，而這些項目的背后無不是以騰訊大數(shù)據(jù)作為底層支撐，通過AI賦能創(chuàng)造可以為社會帶來實際價值的產(chǎn)品。
騰訊數(shù)據(jù)人每天不得不面對海量的數(shù)據(jù)處理需求，例如用戶每天在微信朋友圈和QQ空間上傳的圖片超過10億張，騰訊視頻每天播放量超過20億次，除夕當(dāng)天紅包支付超過25億筆，每天移動支付超過5億筆，這些數(shù)據(jù)規(guī)模在國內(nèi)均居行業(yè)前列。
伴隨著業(yè)務(wù)的迅猛發(fā)展，騰訊大數(shù)據(jù)平臺十年磨一劍，已經(jīng)初步搭建完成了數(shù)據(jù)采集、存儲、計算、應(yīng)用、運(yùn)維、治理等一整套大數(shù)據(jù)業(yè)務(wù)處理平臺。本書正是在此背景下應(yīng)運(yùn)而生的，首次對外詳細(xì)闡述了騰訊大數(shù)據(jù)平臺系統(tǒng)架構(gòu)，以及多年來平臺建設(shè)的思考與沉淀。
本書內(nèi)容總體分成兩大部分，第一部分主要講述騰訊大數(shù)據(jù)平臺的技術(shù)體系，第二部分主要講述騰訊大數(shù)據(jù)通過騰訊云對外開放的一系列產(chǎn)品。主要包括：
一、騰訊大數(shù)據(jù)的起源、技術(shù)理念及發(fā)展歷程：重點(diǎn)講述騰訊大數(shù)據(jù)從無到有的故事、開源路線選擇的思考以及三代大數(shù)據(jù)平臺架構(gòu)的技術(shù)演進(jìn)。
二、數(shù)據(jù)實時采集平臺：重點(diǎn)講述騰訊自主研發(fā)的高并發(fā)消息中間件，該平臺在騰訊內(nèi)部使用超過十年，每天接入數(shù)十萬億級的消息。
三、分布式存儲平臺：講述廣受歡迎的HDFS、Ceph、HBase等開源組件，并重點(diǎn)闡述下一代分布式存儲平臺Ozone。
四、分布式計算平臺：重點(diǎn)講述騰訊大數(shù)據(jù)歷經(jīng)十年發(fā)展的變遷史，從Hadoop到Spark，從Storm到Flink的發(fā)展史，同時也講述任務(wù)調(diào)度系統(tǒng)及多種計算分析引擎。
五、資源調(diào)度平臺：重點(diǎn)講述如何實現(xiàn)十萬節(jié)點(diǎn)級別的大規(guī)模集群的調(diào)度管理，闡述CPU、GPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等資源調(diào)度的優(yōu)化。
六、數(shù)據(jù)治理體系：涉及元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全等內(nèi)容。
七、機(jī)器學(xué)習(xí)平臺：介紹騰訊大數(shù)據(jù)自主研發(fā)的高性能分布式機(jī)器學(xué)習(xí)平臺Angel，這是國內(nèi)首個在全球范圍的頂級開源社區(qū)畢業(yè)的機(jī)器學(xué)習(xí)平臺。
八、數(shù)據(jù)內(nèi)容挖掘：主要講述對數(shù)據(jù)價值的挖掘、以用戶畫像為核心的數(shù)據(jù)內(nèi)容的挖掘。
九、大數(shù)據(jù)平臺運(yùn)營：大數(shù)據(jù)平臺的核心競爭力很大一部分來自平臺的運(yùn)維與運(yùn)營，騰訊大數(shù)據(jù)平臺的機(jī)器節(jié)點(diǎn)規(guī)模超過十萬臺，但騰訊大數(shù)據(jù)運(yùn)維團(tuán)隊只有二三十人，這里主要講述運(yùn)維團(tuán)隊經(jīng)歷的方方面面。
十、對外開放的騰訊大數(shù)據(jù)能力：講述騰訊大數(shù)據(jù)套件TBDS、一站式機(jī)器學(xué)習(xí)平臺智能鈦TI，也講述每天推送量達(dá)到數(shù)百億的移動推送平臺，重點(diǎn)披露承載了騰訊大數(shù)據(jù)超過500萬核的底層算力平臺的技術(shù)實踐細(xì)節(jié)，還有智能客服機(jī)器人、數(shù)據(jù)可視化產(chǎn)品等。
本書由騰訊數(shù)據(jù)平臺部組織編寫，詳盡地記錄了騰訊大數(shù)據(jù)技術(shù)發(fā)展與演進(jìn)各個階段所使用的技術(shù)，也記錄了騰訊大數(shù)據(jù)團(tuán)隊經(jīng)歷過的各種考驗，希望可以給各位同行及有志于從事大數(shù)據(jù)行業(yè)的朋友一些啟發(fā)與借鑒。