第 1章大數(shù)據(jù)概述本章主要內(nèi)容
大數(shù)據(jù)概述問題的提出電子數(shù)據(jù)迅速增加數(shù)據(jù)孕育巨大的經(jīng)濟價值數(shù)據(jù)是國家的核心資產(chǎn)
大數(shù)據(jù)的產(chǎn)生源泉互聯(lián)網(wǎng)世界物理世界大數(shù)據(jù)的概念
數(shù)據(jù)容量巨大數(shù)據(jù)類型多價值密度低數(shù)據(jù)傳播速度
大數(shù)據(jù)的性質(zhì)
價值非結(jié)構(gòu)性不完備性時效性安全性可靠性
大數(shù)據(jù)技術(shù)概述
大數(shù)據(jù)技術(shù)的主要內(nèi)容大數(shù)據(jù)的處理過程大數(shù)據(jù)技術(shù)的特征大數(shù)據(jù)關(guān)鍵問題與關(guān)鍵技術(shù)大數(shù)據(jù)應(yīng)用趨勢大數(shù)據(jù)細分市場大數(shù)據(jù)推動企業(yè)發(fā)展大數(shù)據(jù)分析的新方法出現(xiàn)大數(shù)據(jù)與云計算高度融合大數(shù)據(jù)一體設(shè)備陸續(xù)出現(xiàn)大數(shù)據(jù)安全日益重視
大數(shù)據(jù)應(yīng)用判斷大數(shù)據(jù)應(yīng)用成功的指標大數(shù)據(jù)技術(shù)的應(yīng)用
大數(shù)據(jù)的展望
資源與投入工程技術(shù)復雜網(wǎng)絡(luò)分析涉及眾多領(lǐng)域構(gòu)建大數(shù)據(jù)生態(tài)環(huán)境
需求是科學技術(shù)發(fā)展的原動力。目前，大數(shù)據(jù)問題的出現(xiàn)與研究已經(jīng)成為了計算機科學與技術(shù)研究的新熱點，并顯示出日益強大的吸引力，科學大數(shù)據(jù)的出現(xiàn)催生了數(shù)據(jù)密集型知識發(fā)現(xiàn)的科學研究第四范式的出現(xiàn)。對于信息領(lǐng)域，大數(shù)據(jù)帶來的不僅是機遇，還有一系列的困難和挑戰(zhàn)。目前，大數(shù)據(jù)技術(shù)與應(yīng)用展現(xiàn)出銳不可當?shù)膹姶笊�命力，科學界與企業(yè)界寄予無比的厚望。大數(shù)據(jù)成為繼 20世紀末、21世紀初互聯(lián)網(wǎng)蓬勃發(fā)展以來的又一輪 IT工業(yè)革命。
1.1 問題的提出
在全世界范圍內(nèi)，以電子方式存儲的數(shù)據(jù)(又簡稱為電子數(shù)據(jù))總量空前巨大。在 2011年電子數(shù)據(jù)總量已達到 1.8ZB(1ZB=1024PB)，較 2010年同期提高超過 1ZB，統(tǒng)計結(jié)果表明，每經(jīng)過 2年就可以增加 1倍，預計到 2020年可達到 35ZB，如圖 1-1所示。面對數(shù)據(jù)增長的速度迅猛提升，數(shù)據(jù)量的飛速增加，對大量電子數(shù)據(jù)的高效存儲、高效傳輸與快速的處理是必須面對的研究問題。
圖 1-1 全球數(shù)據(jù)創(chuàng)建及復制的數(shù)據(jù)總量預測
1.1.1 電子數(shù)據(jù)迅速增加
物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板電腦、個人計算機( PC)、氣候信息、公開的信息，如雜志、報紙和文章、交易記錄、網(wǎng)絡(luò)日志、病歷、軍事監(jiān)控、視頻和圖像、檔案及大型電子商務(wù)，以及遍布地球各個角落的各種各樣的傳感器是數(shù)據(jù)來源或者承載的方式不斷更新與發(fā)展、大型科學研究設(shè)備產(chǎn)生的數(shù)據(jù)，以及社交媒體的快速發(fā)展，構(gòu)成了大數(shù)據(jù)持續(xù)產(chǎn)生的生態(tài)環(huán)境。尤其是近年來，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，來自人們的日常生活，特別是來自互聯(lián)網(wǎng)服務(wù)而產(chǎn)生的大量數(shù)據(jù)迅猛增加。據(jù)不完全統(tǒng)計，互聯(lián)網(wǎng)當前包含 93億多個頁面，80%～85%的數(shù)據(jù)是存儲在數(shù)據(jù)庫的文本中。互聯(lián)網(wǎng)一天產(chǎn)生的全部內(nèi)容可以刻滿 1.68億張 DVD，發(fā)出的郵件有 2940億封之多，發(fā)出的社區(qū)帖子達 200萬個(相當于《時代》雜志 770年的文字量)，賣出的手機為 37.8萬臺，高于全球每天出生的嬰兒數(shù)量 37.1萬……從數(shù)據(jù)統(tǒng)計角度來看，電子數(shù)據(jù)量迅速增加。預計中國數(shù)據(jù)技術(shù)和服務(wù)市場未來 5年的復合增長率將達 51.4%，其中增長率最高的是存儲市場，將達 60.8%，服務(wù)器市場的增長率則是 38.3%，遠遠高于其他產(chǎn)品相關(guān)的市場。
1.1.2 數(shù)據(jù)孕育巨大的經(jīng)濟價值
數(shù)據(jù)本身是無意義的，而通過統(tǒng)計、分類、萃取、特征抽取等一系列技術(shù)手段，可以從數(shù)據(jù)中產(chǎn)生信息與知識。數(shù)據(jù)是重要的戰(zhàn)略資源，隱含巨大的經(jīng)濟價值，因此已經(jīng)引起科學界和企業(yè)界的高度重視。有效地組織和使用數(shù)據(jù)，將對經(jīng)濟發(fā)展產(chǎn)生巨大的推動作用。大數(shù)據(jù)出現(xiàn)孕育著前所未有的機遇。對大數(shù)據(jù)的交換、整合和分析，可以發(fā)現(xiàn)新的知識，創(chuàng)造新的價值。
越來越多的企業(yè)等機構(gòu)意識到數(shù)據(jù)正在成為最重要的資產(chǎn)，數(shù)據(jù)分析能力正在成為核心競爭力。經(jīng)過了由 PC成功轉(zhuǎn)向了軟件和服務(wù)，而這次將遠離服務(wù)與咨詢，更多地專注于因數(shù)據(jù)分析而帶來的全新業(yè)務(wù)增長點。數(shù)據(jù)將成為各行業(yè)中決定勝負的根本因素，最終數(shù)據(jù)將成為人類至關(guān)重要的自然資源。各著名的大型公司已經(jīng)致力于開發(fā)自己的大數(shù)據(jù)處理和存儲系統(tǒng)，目前已經(jīng)到了數(shù)據(jù)化運營的黃金時期，如何整合這些數(shù)據(jù)成為未來的關(guān)鍵任務(wù)。
在互聯(lián)網(wǎng)、電信、金融等行業(yè)，幾乎已經(jīng)到了數(shù)據(jù)就是業(yè)務(wù)本身的地步。物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新的互聯(lián)網(wǎng)技術(shù)在為人們帶來便利的同時，也產(chǎn)生了大量的數(shù)據(jù)。如何有效地存儲和查詢這些數(shù)據(jù)，如何通過數(shù)據(jù)挖掘，從數(shù)據(jù)中獲得有用的信息，為用戶提供好的用戶體驗，增強企業(yè)的競爭力，是一個挑戰(zhàn)。研究表明，數(shù)字領(lǐng)域存在著 1.8萬億 GB的數(shù)據(jù)，企業(yè)數(shù)據(jù)正在以 55％的速度逐年增長。目前，兩天就能創(chuàng)造出自人類文明誕生以來到 2003年所產(chǎn)生的數(shù)據(jù)總量。大數(shù)據(jù)已經(jīng)成為重要的時代特征，充分利用大數(shù)據(jù)可幫助全球個人定位服務(wù)提供商增加 1000億美元的收入，幫助歐洲公共部門的管理每年提升 2500億美元產(chǎn)值，幫助美國醫(yī)療保健行業(yè)每年提升 3000億美元產(chǎn)值，并可幫助美國零售業(yè)獲得 60％以上的凈利潤增長率。由此可見，充分使用大數(shù)據(jù)和挖掘大數(shù)據(jù)商業(yè)價值將為行業(yè)企業(yè)帶來強大經(jīng)濟效益與競爭力。
大數(shù)據(jù)既是對信息技術(shù)發(fā)展的高度抽象和概括，同時也體現(xiàn)了信息技術(shù)服務(wù)于數(shù)據(jù)蘊藏的巨大價值。大數(shù)據(jù)給數(shù)據(jù)的采集、存儲、維護、共享帶來了具有研究意義的現(xiàn)象和挑戰(zhàn)，但更多的意義是可以處理、分析并使用大量數(shù)據(jù)，通過這些數(shù)據(jù)的處理、整合和分析，可以發(fā)現(xiàn)新知識、創(chuàng)造新價值，帶來大知識、大科學和大發(fā)展，逐漸走向創(chuàng)新社會化的新信息時代。
大數(shù)據(jù)全生命周期可以劃分為“數(shù)據(jù)產(chǎn)生—數(shù)據(jù)采集—數(shù)據(jù)傳輸—數(shù)據(jù)存儲—數(shù)據(jù)處理—數(shù)據(jù)分析—數(shù)據(jù)發(fā)布、展示和應(yīng)用—產(chǎn)生新數(shù)據(jù)”等階段。已經(jīng)形成了大數(shù)據(jù)的“生產(chǎn)與集聚層—組織與管理層—分析與發(fā)現(xiàn)層—應(yīng)用與服務(wù)層”的產(chǎn)業(yè)鏈，而 IT基礎(chǔ)設(shè)施為這各環(huán)節(jié)提供基礎(chǔ)支撐。
據(jù)統(tǒng)計， 2012年市場規(guī)模達到 4.5億元， 2016年估計可達到百億規(guī)模，如圖 1-2所示。
圖 1-2 中國大數(shù)據(jù)應(yīng)用市場規(guī)模與增長
1.1.3 數(shù)據(jù)是國家的核心資產(chǎn)
一個國家擁有數(shù)據(jù)的規(guī)模、活性及解釋運用的能力將成為綜合國力的重要組成部分，對數(shù)據(jù)的占有和控制，甚至將成為陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心資產(chǎn)。聯(lián)合國也在 2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對于聯(lián)合國和各國政府是一個歷史性的機遇，通過使用極為豐富的數(shù)據(jù)資源，對社會經(jīng)濟進行前所未有的實時分析，幫助政府更好地響應(yīng)社會和經(jīng)濟運行。
數(shù)據(jù)為王的大數(shù)據(jù)時代已經(jīng)到來，對數(shù)據(jù)的占有和控制也將成為國家間和企業(yè)間新的爭奪點。大數(shù)據(jù)技術(shù)的專業(yè)人才，特別是數(shù)據(jù)分析復合型人才的稀缺將會影響該市場的發(fā)展。
在技術(shù)層面上，大數(shù)據(jù)、海量數(shù)據(jù)與超大規(guī)模數(shù)據(jù)并無本質(zhì)的區(qū)別，它們都是指用傳統(tǒng)處理方法無法處理的大量數(shù)據(jù)。通過對大數(shù)據(jù)的高速有效處理，可以發(fā)現(xiàn)數(shù)據(jù)中蘊藏的規(guī)律與規(guī)則，進而為各種關(guān)鍵決策提供依據(jù)與指導，正確的預測與決策將導致巨大財富的產(chǎn)生。技術(shù)與工具密不可分，目前常用的數(shù)據(jù)處理技術(shù)與工具是小數(shù)據(jù)處理技術(shù)與工具，一些海量數(shù)據(jù)處理方法與工具是一種過度性的方法與工具，大數(shù)據(jù)處理技術(shù)與工具的研究是一項有理論意義和實際價值的工作。簡言之，大數(shù)據(jù)技術(shù)就是從各種各樣類型的數(shù)據(jù)中，快速獲得智慧的技術(shù)。信息要能轉(zhuǎn)化成智慧，至少要滿足以下三個標準。
1．可破譯性
可破譯性是大數(shù)據(jù)時代特有的問題，但非結(jié)構(gòu)化的數(shù)據(jù)不是一定都可破譯。例如，記錄了某客戶在網(wǎng)站上三次翻頁的時間間隔分別是 5s、4s、15s，卻忘記標注這三個時間代表什么，也就是說，知道這些數(shù)據(jù)是信息，卻不可破譯，所以不可能成為知識。
2．關(guān)聯(lián)性
關(guān)聯(lián)性即是相關(guān)性。無關(guān)的信息可以被看成噪聲。
3．新穎性
新穎性是指無法僅僅根據(jù)擁有的數(shù)據(jù)和信息進行判斷。例如，某電子商務(wù)公司通過一組數(shù)據(jù)/信息，分析出了客戶愿意為當天送貨的產(chǎn)品多支付 10元錢，然后又通過另一組完全獨立的數(shù)據(jù)/信息得到了同樣的內(nèi)容，這樣的情況下，后者就不具備新穎性。但是，很多時候，只有在處理了大量的數(shù)據(jù)和信息以后，才能判斷它們是否具有新穎性。
1.2 大數(shù)據(jù)的產(chǎn)生源泉
大數(shù)據(jù)是人類活動的產(chǎn)物，來自人們改造客觀世界的過程中，是生產(chǎn)與生活在網(wǎng)絡(luò)空間的投影。信息爆炸是對信息快速發(fā)展的一種逼真的描述，形容信息發(fā)展的速度如同爆炸一般席卷整個地球。在 20世紀 40～50年代，信息爆炸主要指的是科學文獻的快速增長；而經(jīng)過 50年的發(fā)展，到 20世紀 90年代，由于計算機和通信技術(shù)廣泛應(yīng)用，信息爆炸主要指的是所有社會信息快速增長，包括正式交流過程和非正式交流過程所產(chǎn)生的電子式的和非電子式的信息，而到 21世紀的今天，信息爆炸是由于數(shù)據(jù)洪流的產(chǎn)生和發(fā)展所造成的。在技術(shù)方面，新型的硬件與數(shù)據(jù)中心、分布式計算、云計算、大容量數(shù)據(jù)存儲與處理技術(shù)、社會化網(wǎng)絡(luò)、移動終端設(shè)備、多樣化的數(shù)據(jù)采集方式使大數(shù)據(jù)的產(chǎn)生和記錄成為可能。在用戶方面，日益人性化的用戶界面、信息行為模式都容易作為數(shù)據(jù)而記錄，用戶既可成為數(shù)據(jù)的制造者，也可以成為數(shù)據(jù)的使用者�？梢钥闯�，隨著云計算、物聯(lián)網(wǎng)計算和移動計算的發(fā)展，世界上所產(chǎn)生的新數(shù)據(jù)，包括位置、狀態(tài)、思考、過程和行動等產(chǎn)生的數(shù)據(jù)都能夠匯入數(shù)據(jù)洪流，導致數(shù)據(jù)洪流席卷互聯(lián)網(wǎng)。
歸納起來，大數(shù)據(jù)主要來自物理世界與互聯(lián)網(wǎng)世界。
1.2.1 互聯(lián)網(wǎng)世界
大數(shù)據(jù)時代，需要更加全面的數(shù)據(jù)來提高預測的準確度，因此需要更多廉價、便捷、自動的數(shù)據(jù)生產(chǎn)工具。
大數(shù)據(jù)是計算機和互聯(lián)網(wǎng)結(jié)合的產(chǎn)物，計算機實現(xiàn)了數(shù)據(jù)的數(shù)字化，互聯(lián)網(wǎng)實現(xiàn)了數(shù)據(jù)的網(wǎng)絡(luò)化；兩者結(jié)合才賦予了大數(shù)據(jù)生命力。隨著互聯(lián)網(wǎng)如同空氣、水、電一樣無處不在地滲透到我們的工作和生活，加上移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、可穿戴聯(lián)網(wǎng)設(shè)備的普及，新的數(shù)據(jù)正在以指數(shù)級別的速度產(chǎn)生，目前世界上 90%的數(shù)據(jù)是在互聯(lián)網(wǎng)出現(xiàn)以后迅速產(chǎn)生的。
大數(shù)據(jù)來自人類社會，尤其互聯(lián)網(wǎng)的發(fā)展為數(shù)據(jù)的存儲、傳輸與應(yīng)用創(chuàng)造了基礎(chǔ)與環(huán)境。依據(jù)基于唯象假設(shè)的六度分割理論而建立的社交網(wǎng)絡(luò)服務(wù)( Social Network Service，SNS)，以認識朋友的朋友為基礎(chǔ)，擴展自己的人脈�；�于 Web 2.0網(wǎng)站建立的社交網(wǎng)絡(luò)，用戶既是網(wǎng)站信息的使用者，也是網(wǎng)站信息的制作者。社交網(wǎng)站記錄人們之間的交互，搜索引擎記錄人們的搜索行為和搜索結(jié)果，電子商務(wù)網(wǎng)站記錄了人們購買商品的喜好，微博網(wǎng)站記錄了人們所產(chǎn)生的即時想法和意見，圖片視頻分享網(wǎng)站記錄了人們的視覺觀察，百科全書網(wǎng)站記錄了人們對抽象概念的認識，幻燈片分享網(wǎng)站記錄了人們的各種正式和非正式的演講發(fā)言，機構(gòu)知識庫和開放獲取期刊記錄了學術(shù)研究成果等。歸納起來，來自互聯(lián)網(wǎng)的數(shù)據(jù)可以劃分為下述六種類型。
1．視頻
視頻圖像是大數(shù)據(jù)的主要來源之一，電影、電視節(jié)目可以產(chǎn)生大量的視頻圖像，各種室內(nèi)外的視頻攝像頭晝夜不停地產(chǎn)生巨量的視頻圖像。視頻圖像以每秒幾十幀的速度連續(xù)記錄運動著的物體，一個小時的標準清晰視頻經(jīng)過壓縮后，所需的存儲空間為 GB數(shù)量級，對于高清晰度視頻所需的存儲空間就更大了。
2．圖片與照片
圖片與照片也是大數(shù)據(jù)的主要來源之一，截至 2011年 9月，用戶向臉譜( Facebook)上傳了 1400億張以上的照片，臉譜是美國最大的一個社交網(wǎng)站，類似于中國的新浪微博。如果拍攝者為了保存拍攝時的原始文件，平均每張照片大小為 1MB，則這些照片的總數(shù)據(jù)量就是 140G×1MB=140PB，如果單臺服務(wù)器磁盤容量為 10TB，則存儲這些照片需要 14000臺服務(wù)器，而且這些上傳的照片僅僅是人們拍攝到的照片的很少一部分。此外，許多遙感系統(tǒng)一天 24小時不停地拍攝并產(chǎn)生大量照片。
3．音頻
DVD光盤采用了雙聲道 16位采樣，采樣頻率為 44.1kHz，可達到多媒體欣賞水平。如果某音樂劇的長度為 5.5min，計算其占用的存儲容量為
存儲容量 =(采樣頻率 ×采樣位數(shù) ×聲道數(shù) ×時間) / 8
= (44.1×1000×16×2×5.5×60)/8
= 12.6MB
4．日志
網(wǎng)絡(luò)設(shè)備、系統(tǒng)及服務(wù)程序等，在運行時都會產(chǎn)生 log的事件記錄，每一行日志都記載著日期、時間、使用者及動作等相關(guān)操作的描述。Windows網(wǎng)絡(luò)操作系統(tǒng)設(shè)有各種各樣的日志文件，如應(yīng)用程序日志、安全日志、系統(tǒng)日志、 Scheduler服務(wù)日志、 FTP日志、WWW日志、DNS服務(wù)器日志等，并且根據(jù)系統(tǒng)開啟的服務(wù)的