大數(shù)據(jù)測試技術(shù)與實踐（全彩印刷）
定 價：118 元
內(nèi) 容 提 要 本書全面系統(tǒng)地介紹了大數(shù)據(jù)的測試技術(shù)與質(zhì)量體系建設(shè)。本書共11章，第1～4章涵蓋認識大數(shù)據(jù)，大數(shù)據(jù)技術(shù)生態(tài)，數(shù)據(jù)倉庫的設(shè)計與構(gòu)建，以及大數(shù)據(jù)項目開發(fā)流程；第5～7章講解大數(shù)據(jù)測試方法、大數(shù)據(jù)測試實踐和數(shù)據(jù)質(zhì)量管理；第8～10章介紹大數(shù)據(jù)測試平臺實踐、數(shù)據(jù)治理平臺建設(shè)，以及DataOps的理念與實踐；第11章提供大數(shù)據(jù)測試學(xué)習(xí)路線。附錄列出了大數(shù)據(jù)技術(shù)經(jīng)典面試題。 本書適合想要了解大數(shù)據(jù)技術(shù)的讀者，以及想要學(xué)習(xí)和掌握大數(shù)據(jù)測試與大數(shù)據(jù)開發(fā)的從業(yè)者。通過閱讀本書，測試工程師可以系統(tǒng)地學(xué)習(xí)大數(shù)據(jù)技術(shù)基礎(chǔ)、大數(shù)據(jù)開發(fā)和大數(shù)據(jù)測試等知識；大數(shù)據(jù)開發(fā)工程師可以借鑒大數(shù)據(jù)質(zhì)量保障的方法，拓寬數(shù)據(jù)工程實踐的思路；技術(shù)專家和技術(shù)管理者可以了解大數(shù)據(jù)質(zhì)量保障體系、數(shù)據(jù)治理建設(shè)和DataOps實踐等內(nèi)容。
大數(shù)據(jù)測試實踐秘籍 36位來自字節(jié)跳動、知乎、阿里、百度、騰訊、、奇虎360、小米、網(wǎng)易等大廠專業(yè)技術(shù)人員聯(lián)袂推薦。 通俗易懂，精選22個大數(shù)據(jù)測試要點，從零入手，系統(tǒng)講解大數(shù)據(jù)測試。 內(nèi)容豐富，涵蓋6大技術(shù)主題，大數(shù)據(jù)技術(shù)生態(tài)、數(shù)據(jù)倉庫、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)測試、數(shù)據(jù)治理、DataOps。 場景典型，詳細解釋3個主流數(shù)據(jù)應(yīng)用場景問題，數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)可視化。深度剖析BI報表、風(fēng)控模型產(chǎn)品、用戶行為分析平臺的技術(shù)原理、工程架構(gòu)，并輸出了全鏈路的質(zhì)量保障方案。
艾輝，中國人民大學(xué)概率論與數(shù)理統(tǒng)計專業(yè)碩士，《機器學(xué)習(xí)測試入門與實踐》作者之一。目前，擔(dān)任融360技術(shù)總監(jiān)，主要負責(zé)AI風(fēng)控產(chǎn)品、用戶產(chǎn)品和基礎(chǔ)架構(gòu)的質(zhì)量保障工作。曾在阿里本地生活擔(dān)任高級技術(shù)經(jīng)理，負責(zé)用戶產(chǎn)品、新零售產(chǎn)品的質(zhì)量保障工作。擁有9年多的測試開發(fā)工作經(jīng)驗，曾多次受邀在行業(yè)技術(shù)大會（如MTSC、GITC、Top100、TiD、A2M和TICA等）上做主題分享。對大數(shù)據(jù)、機器學(xué)習(xí)測試技術(shù)有深刻理解，并長期專注于質(zhì)量保障與工程效能領(lǐng)域。 陳高飛，東北大學(xué)計算機技術(shù)專業(yè)碩士，《機器學(xué)習(xí)測試入門與實踐》作者之一。目前，擔(dān)任融360測試開發(fā)工程師，主要從事機器學(xué)習(xí)方向的測試開發(fā)工作。擅長白盒測試、大數(shù)據(jù)測試和模型測試，在工具平臺開發(fā)方面有豐富的實踐經(jīng)驗。 郝嶸，北京信息科技大學(xué)自動化專業(yè)碩士，《機器學(xué)習(xí)測試入門與實踐》作者之一。目前，擔(dān)任融360高級測試開發(fā)工程師，主要負責(zé)大數(shù)據(jù)方向的測試開發(fā)工作。擅長Python開發(fā)、大數(shù)據(jù)測試和機器學(xué)習(xí)測試，主導(dǎo)了多個工具平臺的開發(fā)，在大數(shù)據(jù)質(zhì)量保障方面有豐富的實踐經(jīng)驗。 雷天鳴，哈爾濱理工大學(xué)計算機科學(xué)與技術(shù)專業(yè)碩士，《機器學(xué)習(xí)測試入門與實踐》作者之一。目前，擔(dān)任融360測試開發(fā)工程師，主要從事機器學(xué)習(xí)方向的測試開發(fā)工作。擅長大數(shù)據(jù)測試、特征測試和模型算法評測等，對金融風(fēng)控業(yè)務(wù)有深刻理解。 李曼曼，融360高級測試開發(fā)工程師，《機器學(xué)習(xí)測試入門與實踐》作者之一。擁有近11年的測試開發(fā)工作經(jīng)驗，主導(dǎo)了多個工具平臺的開發(fā)和大型項目的測試工作。擅長白盒測試、性能測試、自動化測試、持續(xù)集成和工程效能，在大數(shù)據(jù)和特征模型測試方面有豐富的實踐經(jīng)驗。 馬綿，陜西科技大學(xué)網(wǎng)絡(luò)工程專業(yè)學(xué)士，融360測試開發(fā)工程師。目前主要從事服務(wù)端測試開發(fā)工作，擅長自動化測試、安全測試，在服務(wù)穩(wěn)定性保障方面有豐富的實踐經(jīng)驗。 孫冰妍，東北大學(xué)通信與信息系統(tǒng)專業(yè)碩士，融360測試開發(fā)工程師。目前主要從事服務(wù)端測試開發(fā)工作，擅長白盒測試、自動化測試、性能測試、安全測試和持續(xù)集成。參與了多個工具平臺的開發(fā)，并主導(dǎo)了多個大型項目的測試工作。對大數(shù)據(jù)測試技術(shù)有深刻理解。 孫金娟，山西財經(jīng)大學(xué)計算機科學(xué)與技術(shù)專業(yè)學(xué)士，《機器學(xué)習(xí)測試入門與實踐》作者之一。目前，擔(dān)任融360測試開發(fā)工程師，有近9年的Java開發(fā)、測試開發(fā)工作經(jīng)驗。擅長大數(shù)據(jù)測試和工具平臺開發(fā)，對機器學(xué)習(xí)、特征模型測試有深刻理解。 張咪，北京交通大學(xué)通信與信息系統(tǒng)專業(yè)碩士，《機器學(xué)習(xí)測試入門與實踐》作者之一。目前，擔(dān)任融360測試經(jīng)理，主要負責(zé)用戶產(chǎn)品的質(zhì)量保障工作，曾負責(zé)基礎(chǔ)架構(gòu)、SRE（Site Reliability Engineering，網(wǎng)站可靠性工程）等方面的測試開發(fā)工作。在自動化測試、服務(wù)穩(wěn)定性、專項測試和工程效能等方面有豐富的實踐經(jīng)驗，曾受邀在行業(yè)技術(shù)大會（如MTSC、A2M等）做主題分享。對大數(shù)據(jù)、機器學(xué)習(xí)測試有深刻的理解，并在這些領(lǐng)域擁有豐富的實踐經(jīng)驗。 張朋周，中國地質(zhì)大學(xué)計算機科學(xué)與技術(shù)專業(yè)碩士，《機器學(xué)習(xí)測試入門與實踐》作者之一。目前，擔(dān)任融360高級測試開發(fā)工程師，曾在百度從事搜索業(yè)務(wù)測試開發(fā)，有近9年的開發(fā)測試工作經(jīng)驗。目前，主要負責(zé)機器學(xué)習(xí)方向的測試開發(fā)工作，主導(dǎo)了多個工具平臺的開發(fā)，在數(shù)據(jù)質(zhì)量保障、模型評估平臺方面有豐富的實踐經(jīng)驗。
目 錄 第 1章 認識大數(shù)據(jù)／1 1.1 大數(shù)據(jù)概述／1 1.2 大數(shù)據(jù)的發(fā)展／2 1.3 大數(shù)據(jù)的應(yīng)用／4 1.3.1 互聯(lián)網(wǎng)領(lǐng)域／4 1.3.2 物流領(lǐng)域／5 1.3.3 教育領(lǐng)域／6 1.3.4 金融領(lǐng)域／7 1.3.5 電信領(lǐng)域／7 1.4 本章小結(jié)／8 第 2章 大數(shù)據(jù)技術(shù)生態(tài)／9 2.1 大數(shù)據(jù)技術(shù)生態(tài)總覽／9 2.2 大數(shù)據(jù)采集技術(shù)／10 2.3 大數(shù)據(jù)存儲技術(shù)／10 2.3.1 分布式文件系統(tǒng)：HDFS／10 2.3.2 海量數(shù)據(jù)列式存儲： HBase／13 2.3.3 其他數(shù)據(jù)存儲技術(shù)／18 2.4 大數(shù)據(jù)計算分析技術(shù)／19 2.4.1 批處理計算的基石：MapReduce／19 2.4.2 流計算的代表：Storm、Spark Streaming和Flink／21 2.4.3 OLAP引擎：Hive、Impala和Presto／24 2.5 大數(shù)據(jù)管理調(diào)度技術(shù)／30 2.5.1 分布式集群資源調(diào)度框架：YARN／30 2.5.2 容器集群管理系統(tǒng)：Kubernetes／32 2.5.3 大數(shù)據(jù)的"動物園管理員"：ZooKeeper／33 2.5.4 常用的工作流調(diào)度平臺：Azkaban、Oozie和Airflow／34 2.6 大數(shù)據(jù)商業(yè)產(chǎn)品／36 2.7 本章小結(jié)／38 第3章 數(shù)據(jù)倉庫的設(shè)計與構(gòu)建／39 3.1 數(shù)據(jù)倉庫概述／39 3.1.1 什么是數(shù)據(jù)倉庫／39 3.1.2 數(shù)據(jù)倉庫的發(fā)展過程／41 3.1.3 數(shù)據(jù)倉庫與數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺的區(qū)別／43 3.2 數(shù)據(jù)倉庫設(shè)計／44 3.2.1 架構(gòu)分層設(shè)計／44 3.2.2 數(shù)據(jù)模型設(shè)計／46 3.3 數(shù)據(jù)倉庫構(gòu)建／50 3.3.1 數(shù)據(jù)倉庫的構(gòu)建方法與評價標準／50 3.3.2 數(shù)據(jù)倉庫實例／51 3.4 本章小結(jié)／58 第4章 大數(shù)據(jù)項目開發(fā)流程／59 4.1 大數(shù)據(jù)項目開發(fā)概覽／59 4.2 數(shù)據(jù)的采集與存儲／60 4.2.1 服務(wù)端日志采集／61 4.2.2 客戶端日志采集／62 4.2.3 數(shù)據(jù)同步／64 4.2.4 大數(shù)據(jù)存儲／66 4.3 大數(shù)據(jù)計算／67 4.4 大數(shù)據(jù)監(jiān)控／71 4.4.1 數(shù)據(jù)監(jiān)控／71 4.4.2 運維監(jiān)控／72 4.5 大數(shù)據(jù)項目開發(fā)案例／73 4.5.1 項目背景介紹／74 4.5.2 項目需求分析／74 4.5.3 項目開發(fā)流程／76 4.6 本章小結(jié)／83 第5章 大數(shù)據(jù)測試方法／84 5.1 大數(shù)據(jù)測試概述／84 5.1.1 什么是大數(shù)據(jù)測試／84 5.1.2 大數(shù)據(jù)測試與傳統(tǒng)數(shù)據(jù)測試／84 5.2 大數(shù)據(jù)測試類型／85 5.2.1 功能測試／85 5.2.2 性能測試／89 5.2.3 其他非功能性測試／93 5.3 大數(shù)據(jù)測試流程／94 5.4 大數(shù)據(jù)基準測試／96 5.4.1 大數(shù)據(jù)基準測試簡介／97 5.4.2 大數(shù)據(jù)基準測試的步驟／97 5.4.3 大數(shù)據(jù)基準測試工具／98 5.5 大數(shù)據(jù)ETL測試／100 5.5.1 大數(shù)據(jù)ETL測試類型／100 5.5.2 大數(shù)據(jù)ETL測試場景／103 5.5.3 大數(shù)據(jù)ETL測試工具／107 5.6 大數(shù)據(jù)測試總結(jié)／108 5.6.1 大數(shù)據(jù)測試中的典型問題／108 5.6.2 大數(shù)據(jù)測試經(jīng)驗總結(jié)／112 5.6.3 大數(shù)據(jù)測試面臨的挑戰(zhàn)／113 5.7 本章小結(jié)／113 第6章 大數(shù)據(jù)測試實踐／114 6.1 BI報表測試／114 6.1.1 BI工具簡介／114 6.1.2 Tableau簡介／115 6.1.3 BI報表測試實踐／120 6.2 數(shù)據(jù)挖掘產(chǎn)品測試／128 6.2.1 數(shù)據(jù)挖掘的定義和流程／128 6.2.2 數(shù)據(jù)挖掘產(chǎn)品簡介／129 6.2.3 數(shù)據(jù)挖掘產(chǎn)品測試實踐／130 6.3 用戶行為分析平臺測試／139 6.3.1 用戶行為分析平臺測試概覽／139 6.3.2 數(shù)據(jù)采集階段測試／140 6.3.3 實時數(shù)據(jù)處理階段測試／140 6.3.4 離線數(shù)據(jù)處理階段測試／153 6.3.5 數(shù)據(jù)查詢展示階段測試／153 6.4 本章小結(jié)／156 第7章 數(shù)據(jù)質(zhì)量管理／157 7.1 數(shù)據(jù)質(zhì)量管理概述／157 7.2 數(shù)據(jù)質(zhì)量管理流程／158 7.2.1 建立數(shù)據(jù)質(zhì)量管理辦法／159 7.2.2 制定數(shù)據(jù)標準／161 7.2.3 數(shù)據(jù)質(zhì)量自查評估／162 7.2.4 數(shù)據(jù)質(zhì)量問題修復(fù)／170 7.3 本章小結(jié)／173 第8章 大數(shù)據(jù)測試平臺實踐／174 8.1 大數(shù)據(jù)測試平臺背景／174 8.2 大數(shù)據(jù)測試的開源技術(shù)調(diào)研／175 8.2.1 great_expectations／176 8.2.2 WeBankFinTech Qualitis／178 8.3 大數(shù)據(jù)測試的商業(yè)方案分析／181 8.3.1 QuerySurge／182 8.3.2 RightData／184 8.4 從零開始搭建大數(shù)據(jù)測試平臺／186 8.4.1 需求分析／187 8.4.2 架構(gòu)設(shè)計／187 8.4.3 功能實現(xiàn)／189 8.4.4 頁面演示／196 8.4.5 總結(jié)和展望／201 8.5 本章小結(jié)／203 第9章 數(shù)據(jù)治理平臺建設(shè)／204 9.1 數(shù)據(jù)治理概述／204 9.1.1 數(shù)據(jù)治理的基本概念／204 9.1.2 數(shù)據(jù)治理的重要意義／205 9.1.3 數(shù)據(jù)治理面臨的主要挑戰(zhàn)／206 9.1.4 如何開展數(shù)據(jù)治理／206 9.2 數(shù)據(jù)治理平臺體系／207 9.3 元數(shù)據(jù)管理平臺／208 9.3.1 平臺產(chǎn)生背景／208 9.3.2 平臺架構(gòu)／208 9.3.3 模塊設(shè)計：數(shù)據(jù)采集／209 9.3.4 模塊設(shè)計：數(shù)據(jù)查詢／212 9.3.5 模塊設(shè)計：數(shù)據(jù)分析／214 9.4 數(shù)據(jù)質(zhì)量監(jiān)控平臺／219 9.4.1 平臺產(chǎn)生背景／219 9.4.2 平臺架構(gòu)／220 9.4.3 模塊設(shè)計：規(guī)則引擎／221 9.4.4 模塊設(shè)計：任務(wù)中心／230 9.4.5 模塊設(shè)計：報警系統(tǒng) ／230 9.5 本章小結(jié)／232 第 10章 DataOps的理念與實踐／233 10.1 DataOps概述／233 10.1.1 什么是DataOps／233 10.1.2 為什么需要DataOps／235 10.1.3 DataOps與DevOps、MLOps的聯(lián)系和區(qū)別／237 10.2 DataOps的能力與特性／239 10.2.1 數(shù)據(jù)工程／239 10.2.2 數(shù)據(jù)集成／240 10.2.3 數(shù)據(jù)安全和數(shù)據(jù)隱私保護／241 10.2.4 數(shù)據(jù)質(zhì)量／242 10.2.5 DataOps的4個特性／243 10.3 DataOps技術(shù)實踐／244 10.3.1 DataOps技術(shù)工具／245 10.3.2 數(shù)據(jù)管道技術(shù)示例／246 10.4 本章小結(jié)／253 第 11章 大數(shù)據(jù)測試的學(xué)習(xí)路線和發(fā)展趨勢／254 11.1 為什么學(xué)習(xí)大數(shù)據(jù)測試／254 11.2 如何學(xué)習(xí)大數(shù)據(jù)測試／255 11.2.1 大數(shù)據(jù)測試的學(xué)習(xí)路線／255 11.2.2 大數(shù)據(jù)測試的技能圖譜／259 11.3 大數(shù)據(jù)測試的發(fā)展趨勢／269 11.4 本章小結(jié)／270 附錄 大數(shù)據(jù)技術(shù)經(jīng)典面試題／271 參考文獻／276
書單推薦 新書推薦
