看片中文,日韩制服无码人妻师生,在线亚洲欧美

本書針對(duì)大數(shù)據(jù)處理的兩種典型方式,即批處理和流處理，介紹了當(dāng)前Apache軟件基金會(huì)三大軟件開源項(xiàng)目Hadoop、Spark和Storm中主要的存儲(chǔ)及計(jì)算框架。本書從初學(xué)者的角度出發(fā)，聚焦于大數(shù)據(jù)處理框架的基本原理以及安裝和部署等實(shí)踐過(guò)程。通過(guò)本書的學(xué)習(xí)，讀者在了解處理框架的結(jié)構(gòu)、設(shè)計(jì)原理以及執(zhí)行流程等原理性知識(shí)的同時(shí)，還可以結(jié)合本書給出的完整部署過(guò)程以及WordCount等示例的完整源代碼，熟悉如何使用這些處理框架來(lái)編寫大數(shù)據(jù)處理程序以及大數(shù)據(jù)處理程序的基本結(jié)構(gòu)。
本書配套PPT、源代碼等資源，歡迎選用本書作為教材的老師登錄機(jī)工教育服務(wù)網(wǎng)www.cmpedu.com注冊(cè)下載。
本書可作為高等院校計(jì)算機(jī)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)及人工智能或相關(guān)專業(yè)的本科生或研究生教材，也可供相關(guān)工程技術(shù)人員閱讀參考。

隨著手機(jī)和攝像頭等大量移動(dòng)設(shè)備的使用、Web 2.0和社交網(wǎng)絡(luò)帶來(lái)的數(shù)據(jù)產(chǎn)生方式的轉(zhuǎn)變，以及云計(jì)算、Hadoop、Spark等的出現(xiàn)，大數(shù)據(jù)越來(lái)越多地對(duì)人們的生活、企業(yè)的運(yùn)營(yíng)以及國(guó)家的治理和安全產(chǎn)生深遠(yuǎn)的影響。在這種情況下，研究大數(shù)據(jù)處理技術(shù)，培養(yǎng)大數(shù)據(jù)專業(yè)人才得到了國(guó)家和社會(huì)各界的廣泛重視。當(dāng)前，已經(jīng)有越來(lái)越多的高校開設(shè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)，也有越來(lái)越多的人學(xué)習(xí)大數(shù)據(jù)處理技術(shù)。
1本書的定位
對(duì)于初次接觸大數(shù)據(jù)處理技術(shù)的讀者來(lái)說(shuō)，了解大數(shù)據(jù)處理框架的基本原理并能夠搭建運(yùn)行和開發(fā)環(huán)境，編寫簡(jiǎn)單的應(yīng)用代碼，進(jìn)而掌握大數(shù)據(jù)處理程序的基本結(jié)構(gòu)與編寫流程，往往是有難度的。
本書面向大數(shù)據(jù)處理技術(shù)的初學(xué)者，在介紹大數(shù)據(jù)處理框架的結(jié)構(gòu)、設(shè)計(jì)原理以及執(zhí)行流程等原理性知識(shí)的同時(shí)，還給出了大數(shù)據(jù)處理框架的完整安裝過(guò)程以及WordCount等示例的完整程序代碼，并對(duì)代碼進(jìn)行詳細(xì)的注釋說(shuō)明。本書強(qiáng)調(diào)完整的安裝過(guò)程和示例代碼，可以省去讀者查找安裝過(guò)程、代碼以及調(diào)試代碼Bug所帶來(lái)的麻煩。在介紹安裝過(guò)程和示例代碼的過(guò)程中盡可能地對(duì)大數(shù)據(jù)處理框架涉及的諸如Linux命令、文件系統(tǒng)、分布式日志收集工具Flume等相關(guān)知識(shí)點(diǎn)進(jìn)行了簡(jiǎn)單的介紹，可節(jié)省讀者了解相關(guān)背景知識(shí)所需要的時(shí)間。
2本書的主要內(nèi)容
本書主要聚焦于大數(shù)據(jù)處理的兩種主要方式，即批處理和流處理，介紹當(dāng)前Apache軟件基金會(huì)的三大軟件開源項(xiàng)目Hadoop、Spark和Storm中的主要存儲(chǔ)和計(jì)算組件。由于Hadoop與Spark的組件眾多，從實(shí)際應(yīng)用開發(fā)者的角度出發(fā)，針對(duì)Hadoop主要介紹HDFS、MapReduce和HBase三個(gè)組件，針對(duì)Spark主要介紹Spark的核心框架以及Spark應(yīng)用于流處理的Spark Streaming組件。
HDFS、MapReduce和HBase是Hadoop的核心組件。HDFS是Hadoop的分布式文件系統(tǒng)，HBase是Hadoop的分布式數(shù)據(jù)庫(kù)，兩者主要解決的是大數(shù)據(jù)的可靠存儲(chǔ)。MapReduce和Spark的核心框架主要應(yīng)用于大數(shù)據(jù)的批處理。Spark作為MapReduce之后發(fā)布的批處理框架，彌補(bǔ)了MapReduce的一些局限性，具有了更強(qiáng)的計(jì)算表達(dá)能力以及更快的處理速度。但是，本書仍然對(duì)MapReduce進(jìn)行介紹，這是因?yàn)镾park的設(shè)計(jì)借鑒了MapReduce，理解MapReduce有助于更好地理解Spark。
對(duì)于流處理框架，將介紹Spark Streaming和Storm。兩者代表了實(shí)際中兩種不同的流處理方式。Spark Streaming基于Spark核心框架的批處理功能將數(shù)據(jù)流分成不同的時(shí)間片段，然后針對(duì)每個(gè)時(shí)間片段的數(shù)據(jù)進(jìn)行批處理。因此，Spark Streaming對(duì)數(shù)據(jù)流的處理過(guò)程并不是完全的實(shí)時(shí)處理，而Storm采取的是實(shí)時(shí)處理。
本書的所有安裝和運(yùn)行過(guò)程都是在單機(jī)的一個(gè)虛擬機(jī)中完成的，方便讀者進(jìn)行實(shí)踐。所有的安裝過(guò)程和程序代碼都經(jīng)過(guò)作者的親自實(shí)踐，但是編寫這些安裝過(guò)程和代碼時(shí)可能出現(xiàn)錯(cuò)誤，如果在學(xué)習(xí)過(guò)程中發(fā)現(xiàn)問(wèn)題，請(qǐng)聯(lián)系作者，郵箱為liuchun@henu.edu.cn。

劉春
河南省時(shí)空大數(shù)據(jù)產(chǎn)業(yè)技術(shù)研究院
大數(shù)據(jù)基本處理框架原理與實(shí)踐

你還可能感興趣

我要評(píng)論