第1章大數(shù)據(jù)概論
　　本章提要
　　在這個日新月異發(fā)展的社會中，人們發(fā)現(xiàn)未知領(lǐng)域的規(guī)律主要依賴抽樣數(shù)據(jù)、局部數(shù)據(jù)和片面數(shù)據(jù)，甚至無法獲得真實數(shù)據(jù)時只能純粹依賴經(jīng)驗、理論、假設(shè)和價值觀去認(rèn)識世界。因此,人們對世界的認(rèn)識往往是表面的、膚淺的、簡單的、扭曲的或者是無知的。然而大數(shù)據(jù)時代的來臨使人類擁有更多的機會和條件在各個領(lǐng)域更深入地獲得和使用全面數(shù)據(jù)、完整數(shù)據(jù)和系統(tǒng)數(shù)據(jù)，深入探索現(xiàn)實世界的規(guī)律。大數(shù)據(jù)的出現(xiàn)幫助商家了解用戶、鎖定資源、規(guī)劃生產(chǎn)、做好運營及開展服務(wù)。
　　本章主要從大數(shù)據(jù)時代背景、大數(shù)據(jù)基本概念、大數(shù)據(jù)系統(tǒng)以及大數(shù)據(jù)與企業(yè)等方面，讓讀者對大數(shù)據(jù)有初步的認(rèn)識。
　　1.1大數(shù)據(jù)時代背景
　　中國龐大的人數(shù)和應(yīng)用市場，其復(fù)雜性高并且充滿變化，從而成為世界上擁有最復(fù)雜的大數(shù)據(jù)的國家。解決這種由大規(guī)模數(shù)據(jù)引發(fā)的問題，探索以大數(shù)據(jù)為基礎(chǔ)的解決方案，是中國產(chǎn)業(yè)升級、效率提高的重要手段。因此，解決大數(shù)據(jù)這一問題不僅提高公司的競爭力，也能提高國家競爭力。
　　1.1.1大數(shù)據(jù)的數(shù)據(jù)源
　　近年來，隨著信息技術(shù)的發(fā)展，我國在各個領(lǐng)域產(chǎn)生了海量數(shù)據(jù)，主要分布如下。
　　1. 以BAT為代表的互聯(lián)網(wǎng)公司
　　(1) 阿里巴巴: 目前保存的數(shù)據(jù)量為近百個拍字節(jié)(PB)，90%以上是電商數(shù)據(jù)、交易數(shù)據(jù)、用戶瀏覽和點擊網(wǎng)頁數(shù)據(jù)、購物數(shù)據(jù)。
　　(2) 百度: 2013年的數(shù)據(jù)總量接近一千個拍字節(jié)(PB)，主要來自中文網(wǎng)、百度推廣、百度日志、UGC，由于占有70%以上的搜索市場份額從而坐擁龐大的搜索數(shù)據(jù)。
　　(3) 騰訊: 存儲數(shù)據(jù)經(jīng)壓縮處理后總量在100PB左右，數(shù)據(jù)量月增10%，主要是大量社交、游戲等領(lǐng)域積累的文本、音頻、視頻和關(guān)系類數(shù)據(jù)。
　　大數(shù)據(jù)
　　技術(shù)基礎(chǔ)
　　00第1章
　　大數(shù)據(jù)概論
　　002. 電信、金融與保險、電力與石化系統(tǒng)
　　(1) 電信: 包括用戶上網(wǎng)記錄、通話、信息、地理位置等。運營商擁有的數(shù)據(jù)量都在10PB以上，年度用戶數(shù)據(jù)增長數(shù)十拍字節(jié)(PB)。
　　(2) 金融與保險: 包括開戶信息數(shù)據(jù)、銀行網(wǎng)點和在線交易數(shù)據(jù)、自身運營的數(shù)據(jù)等。金融系統(tǒng)每年產(chǎn)生數(shù)據(jù)達(dá)數(shù)十拍字節(jié)(PB)，保險系統(tǒng)數(shù)據(jù)量也接近拍字節(jié)(PB)級別。
　　(3) 電力與石化: 僅國家電網(wǎng)采集獲得的數(shù)據(jù)總量就達(dá)到10個拍字節(jié)(PB)級別，石化行業(yè)、智能水表等每年產(chǎn)生和保存下來的數(shù)據(jù)量也達(dá)到數(shù)十拍字節(jié)(PB)級別。
　　3. 公共安全、醫(yī)療、交通領(lǐng)域
　　(1) 公共安全: 在北京，就有50萬個監(jiān)控攝像頭，每天采集視頻數(shù)量約3PB，整個視頻監(jiān)控每年保存下來的數(shù)據(jù)在數(shù)百拍字節(jié)(PB)以上。
　　(2) 醫(yī)療衛(wèi)生: 據(jù)了解，整個醫(yī)療衛(wèi)生行業(yè)一年能夠保存下來的數(shù)據(jù)就可達(dá)到數(shù)百PB。
　　(3) 交通: 航班往返一次就能產(chǎn)生太字節(jié)(TB)級別的海量數(shù)據(jù)；列車、水陸路運輸產(chǎn)生的各種視頻、文本類數(shù)據(jù)，每年保存下來的也達(dá)到數(shù)十拍字節(jié)(PB)。
　　4. 氣象與地理、政務(wù)與教育等領(lǐng)域
　　(1) 氣象與地理: 中國幅頁遼闊，氣象局保存的數(shù)據(jù)為4～5PB，每年約增數(shù)百個太字節(jié)(TB)，各種地圖和地理位置信息每年約增數(shù)十太字節(jié)(PB)。
　　(2) 政務(wù)與教育: 北京市政務(wù)數(shù)據(jù)資源網(wǎng)涵蓋旅游、教育、交通、醫(yī)療等門類，一年上線公布400余個數(shù)據(jù)包。政務(wù)數(shù)據(jù)多為結(jié)構(gòu)化數(shù)據(jù)。
　　5. 其他行業(yè)
　　線下商業(yè)銷售、農(nóng)林牧漁業(yè)、線下餐飲、食品、科研、物流運輸?shù)刃袠I(yè)數(shù)據(jù)量還處于積累期，整個體積都不算大，多則達(dá)到拍字節(jié)(PB)級別，少則幾百太字節(jié)(TB)，甚至只有數(shù)十太字節(jié)(TB)級別，但增速很快。
　　1.1.2大數(shù)據(jù)的價值和影響
　　數(shù)量巨大、與微觀情境相結(jié)合的運行記錄信息的最終結(jié)果就是大數(shù)據(jù)。盡管運行記錄信息不是大數(shù)據(jù)的全部，但卻應(yīng)該是以后大數(shù)據(jù)的主流。目前看得到的金融、電信、航空、電商、零售渠道等領(lǐng)域中的大數(shù)據(jù)，多數(shù)也都是運行記錄信息。大數(shù)據(jù)具有采集過程價值未知、力爭全面、即時、系統(tǒng)性并發(fā)的記錄方式，以及主受體統(tǒng)一和大微觀的特征，這些特征決定了大數(shù)據(jù)的價值發(fā)揮。
　　大數(shù)據(jù)的應(yīng)用很廣泛，解決了大量的日常問題。大數(shù)據(jù)是利害攸關(guān)的，它將重塑人們的生活、工作和思維方式，比其他劃時代創(chuàng)新引起的社會信息范圍和規(guī)模急劇擴大所帶來的影響更大。大數(shù)據(jù)需要人們重新討論決策、命運和正義的性質(zhì)。人們的世界觀正受到大數(shù)據(jù)優(yōu)勢的挑戰(zhàn)，擁有大數(shù)據(jù)不但意味著掌握過去，更意味著能夠預(yù)測未來。因此，大數(shù)據(jù)給人們帶來了巨大的價值和影響。
　　(1) 全面洞察客戶信息。全面分析來自渠道的反饋、社會傳媒等多源信息，讓每個客戶作為個體了解全景。
　　(2) 提升企業(yè)的資源管理: 利用實時數(shù)據(jù)實現(xiàn)預(yù)測性維護(hù)，并減少故障，推動產(chǎn)品和服務(wù)開發(fā)。
　　(3) 數(shù)據(jù)深度利用。梳理結(jié)構(gòu)化、非結(jié)構(gòu)化、海量歷史/實時、地理信息4類數(shù)據(jù)資源，以企業(yè)核心業(yè)務(wù)及應(yīng)用為主線實現(xiàn)四類數(shù)據(jù)資源的關(guān)聯(lián)利用。
　　(4) 風(fēng)險及時感知和控制。通過全面數(shù)據(jù)分析改進(jìn)風(fēng)險模型，結(jié)合交易流數(shù)據(jù)實時捕獲風(fēng)險，及時有效地控制。
　　(5) 輔助智能決策。實時分析所有的運營數(shù)據(jù)和效果反饋，優(yōu)化運營流程。利用投資回報率最大程度減少信息技術(shù)成本。
　　(6) 更快和更大規(guī)模的產(chǎn)品創(chuàng)新。多源捕獲市場反饋，利用海量市場數(shù)據(jù)和研究數(shù)據(jù)來快速驅(qū)動創(chuàng)新。
　　1.1.3大數(shù)據(jù)技術(shù)應(yīng)用場景
　　當(dāng)前，大數(shù)據(jù)技術(shù)的應(yīng)用涉及各個行業(yè)領(lǐng)域。
　　1. 大數(shù)據(jù)在金融行業(yè)的應(yīng)用
　　近年來，隨著“互聯(lián)網(wǎng)金融”概念的興起，催生了一大批金融、類金融機構(gòu)轉(zhuǎn)型或布局的服務(wù)需求，相關(guān)產(chǎn)業(yè)服務(wù)應(yīng)運而生。而隨著互聯(lián)網(wǎng)金融向縱深發(fā)展，行業(yè)競爭日趨白熱化，金融、類金融機構(gòu)在其中的短板日益凸顯。為了更好地獲得最佳商機，金融行業(yè)也步入了大數(shù)據(jù)時代。
　　華爾街某公司通過分析全球3.4億微博賬戶留言來判斷民眾情緒。人們高興的時候會買股票，而焦慮的時候會拋售股票，它通過判斷全世界高興的人多還是焦慮的人多來決定公司股票的買入還是賣出。
　　阿里公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財務(wù)健康和誠信經(jīng)營的企業(yè)，給他們提供貸款，并且不需要這些中小企業(yè)的擔(dān)保。目前阿里公司已放貸款上千億元，壞賬率僅為0.3%。
　　2. 大數(shù)據(jù)在政府的應(yīng)用
　　為充分運用大數(shù)據(jù)的先進(jìn)理念、技術(shù)和資源，加強對我國各地市場主體的服務(wù)和監(jiān)管，推進(jìn)簡政放權(quán)和政府職能轉(zhuǎn)變，提高政府治理能力，我國一些省市運用大數(shù)據(jù)加強對市場主體服務(wù)和監(jiān)管實施方案已然出爐。
　　3. 大數(shù)據(jù)在醫(yī)療健康的應(yīng)用
　　隨著醫(yī)療衛(wèi)生信息化建設(shè)進(jìn)程的不斷加快，醫(yī)療數(shù)據(jù)的類型和規(guī)模也在以前所未有的速度迅猛增長，甚至產(chǎn)生了無法利用目前主流軟件工具的現(xiàn)象，這些醫(yī)療數(shù)據(jù)能幫助醫(yī)改在合理的時間內(nèi)達(dá)到擷取、管理信息并整合成為能夠幫助醫(yī)院進(jìn)行更積極的經(jīng)營決策的有用信息。這些具有特殊性、復(fù)雜性的龐大的醫(yī)療大數(shù)據(jù)，僅靠個人甚至個別機構(gòu)來進(jìn)行搜索，那基本是不可能完成的。
　　4. 大數(shù)據(jù)在宏觀經(jīng)濟(jì)管理領(lǐng)域的應(yīng)用
　　IBM日本分公司建立了一個經(jīng)濟(jì)指標(biāo)預(yù)測系統(tǒng)，它從互聯(lián)網(wǎng)新聞中搜索出能影響制造業(yè)的480項經(jīng)濟(jì)數(shù)據(jù)，再利用這些數(shù)據(jù)進(jìn)行預(yù)測，準(zhǔn)確度相當(dāng)高。
　　印第安納大學(xué)學(xué)者利用Google提供的心情分析工具，根據(jù)用戶近千萬條短信、微博留言預(yù)測瓊斯工業(yè)指數(shù)，準(zhǔn)確率高達(dá)87%。
　　淘寶網(wǎng)建立了“淘寶CPI”，通過采集、編制淘寶網(wǎng)上390個類目的熱門商品價格來統(tǒng)計CPI，預(yù)測某個時間段的經(jīng)濟(jì)走勢比國家統(tǒng)計局的CPI還提前半個月。
　　5. 大數(shù)據(jù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用
　　由Google前雇員創(chuàng)辦Climate公司，從美國氣象局等數(shù)據(jù)庫中獲得幾十年的天氣數(shù)據(jù)，各地的降雨、氣溫和土壤狀況及歷年農(nóng)作物產(chǎn)量做成緊湊的圖表，從而能夠預(yù)測美國任一農(nóng)場下一年的產(chǎn)量。農(nóng)場主可以去該公司咨詢明年種什么能賣出去、能賺錢，說錯了該公司負(fù)責(zé)賠償，賠償金額比保險公司還要高，但到目前為止還沒賠過。
　　通過對手機上的農(nóng)產(chǎn)品“移動支付”數(shù)據(jù)、“采購?fù)度搿睌?shù)據(jù)和“補貼”數(shù)據(jù)分析，可準(zhǔn)確預(yù)測農(nóng)產(chǎn)品生產(chǎn)趨勢，政府可依此決定出臺激勵實施和確定合適的作物存儲量，還可以為農(nóng)民提供服務(wù)。
　　6. 大數(shù)據(jù)在商業(yè)領(lǐng)域的應(yīng)用
　　沃爾瑪基于每個月4500萬的網(wǎng)絡(luò)購物數(shù)據(jù)，并結(jié)合社交網(wǎng)絡(luò)上有關(guān)產(chǎn)品的大眾評分，開發(fā)機器學(xué)習(xí)語義搜索引擎“北極星”，方便瀏覽，在線購物者因此增加10%～15%，銷售額增加十多億美元。
　　沃爾瑪通過手機定位，可以分析顧客在貨柜前停留時間的長短，從而判斷顧客對什么商品感興趣。
　　不僅僅是通過手機定位，實際上美國有的超市在購物推車上也安裝了位置傳感器，根據(jù)顧客在不同貨物前停留時間的長短來分析顧客可能的購物行為。
　　在淘寶網(wǎng)上買東西時，消費者會在阿里的廣告交易平臺上留下記錄，阿里不僅從交易記錄平臺把消費記錄拿來供自己使用，還會把消費記錄賣給其他商家。
　　7. 大數(shù)據(jù)在銀行的應(yīng)用
　　在信用卡服務(wù)方面，銀行首先利用移動互聯(lián)網(wǎng)技術(shù)的定位功能確定商圈，目前已實際覆蓋全國161個商圈，累計服務(wù)千萬人次；其次利用用戶活動軌跡追蹤，確定高價值商業(yè)圈設(shè)計業(yè)務(wù)；再利用大數(shù)據(jù)進(jìn)行客戶需求的體驗分析。既包括客戶的需要，也包括客戶的體驗，最終實現(xiàn)用戶體驗的LIKE曲線。
　　1.1.4大數(shù)據(jù)技術(shù)的發(fā)展前景
　　據(jù)預(yù)測，到2020年，全球需要存儲的數(shù)據(jù)量將達(dá)到35萬億吉字節(jié)(GB)，是2009年數(shù)據(jù)存儲量的44倍。根據(jù)IDC的研究，2010年底全球的數(shù)據(jù)量已達(dá)到120萬拍字節(jié)(PB)。這些數(shù)據(jù)如果使用光盤存儲，摞起來可以從地球到月球一個來回。對于商業(yè)而言，這里孕育著巨大的市場機會，龐大的數(shù)據(jù)就是一個信息金礦。數(shù)據(jù)是企業(yè)的重要資產(chǎn)。因此，大數(shù)據(jù)將人們帶進(jìn)了一個更有前景的領(lǐng)域。
　　在大數(shù)據(jù)時代，一批新的大數(shù)據(jù)技術(shù)正在涌現(xiàn)，將改變?nèi)藗兎治鎏幚砗Ａ繑?shù)據(jù)的方式，使人們更快、更經(jīng)濟(jì)地獲得所需的結(jié)果。傳統(tǒng)商業(yè)智能限于技術(shù)瓶頸很大程度上是對抽樣數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)技術(shù)就是要打破傳統(tǒng)商業(yè)智能領(lǐng)域的局限。大數(shù)據(jù)技術(shù)不但能處理結(jié)構(gòu)化數(shù)據(jù)，還能分析和處理各種半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，甚至從某種程度上，更擅長處理非結(jié)構(gòu)化數(shù)據(jù)，例如Hadoop。而在現(xiàn)實生活中，這樣的數(shù)據(jù)更為普遍，增長得更為迅速。例如，社交媒體中的各種交互活動、購物網(wǎng)站用戶點擊行為、圖片、電子郵件等�？梢哉f，正是此類數(shù)據(jù)的爆炸性催生了大數(shù)據(jù)相關(guān)技術(shù)的出現(xiàn)和完善，從而讓人們知道在一個資源有限的世界中應(yīng)該提取哪些有價值的信息。
　　大數(shù)據(jù)技術(shù)的出現(xiàn)和完善還可以幫助健康保險公司不做體檢就能決定保險覆蓋面，并降低提醒病人服藥的成本。通過大數(shù)據(jù)的相關(guān)性，語言可以得到翻譯，汽車可以在預(yù)測的基礎(chǔ)上自行駕駛。人們之所以能做所有的這些事，新工具的使用只是一個很小的因素，比擁有更快的處理器、更多的存儲器，更智能的軟件和算法更重要的是，人們擁有了更多的數(shù)據(jù)，繼而世界上更多的事物被數(shù)據(jù)化了。顯然，人類量化世界的雄心先于計算機革命，但是數(shù)字工具將數(shù)據(jù)化提升到了新的高度。不僅移動電話能夠跟蹤到呼叫的人和被呼叫人所在的位置，而且同樣的數(shù)據(jù)也能用于斷定來人是否生病了。
　　能置身于信息流中央并且能夠收集數(shù)據(jù)的公司通常會繁榮興旺。有效利用大數(shù)據(jù)需要專業(yè)技術(shù)和豐富的想象力，即一個能容納大數(shù)據(jù)的心態(tài)，但價值的核心歸功于數(shù)據(jù)本身。有時，重要的資產(chǎn)并不僅僅是能清楚看到的信息，聰明的公司可以用它來改善現(xiàn)有的服務(wù)，或推出全新的服務(wù)。
　　大數(shù)據(jù)將成為理解和解決當(dāng)今許多緊迫的全球問題所不可或缺的重要工具。在應(yīng)對氣候變化問題時，需要對污染相關(guān)的數(shù)據(jù)進(jìn)行分析得出最佳方案，從而明確努力方向，找出解決問題的方法。全球范圍內(nèi)遍布的大量傳感設(shè)備，包括智能手機內(nèi)部的傳感器，使人們能以更高的細(xì)節(jié)水平模擬環(huán)境。而世界貧困人口迫切需要提高醫(yī)療保健服務(wù)，降低醫(yī)療費用，這很大程度上可以靠自動化來實現(xiàn)。當(dāng)下許多似乎需要人類判斷力才能進(jìn)行的事情，其實可以完全交由計算機來做，比如癌細(xì)胞活檢、傳染病爆發(fā)前期的模式預(yù)測等。
　　大數(shù)據(jù)也被用于發(fā)展經(jīng)濟(jì)和理解如何預(yù)防沖突�；�于手機動向數(shù)據(jù)顯示，非洲許多貧民窟地區(qū)經(jīng)濟(jì)活動十分活躍。大數(shù)據(jù)還揭示了最有可能引發(fā)種族關(guān)系緊張的社區(qū)以及解除難民危機的方式。只有當(dāng)科技應(yīng)用于生活的方方面面時，大數(shù)據(jù)的使用范圍才能進(jìn)一步擴大。
　　大數(shù)據(jù)能幫助人們更好地進(jìn)行已有的工作，并處理全新事務(wù)。在不久的將來，人們將在生活的方方面面使用到大數(shù)據(jù)。當(dāng)大數(shù)據(jù)成為日常生活的一部分后，它將會極大地改變?nèi)藗儗ξ磥淼目捶ā?br /> 　　大數(shù)據(jù)時代造就了一個數(shù)據(jù)庫無所不在的世界，數(shù)據(jù)監(jiān)管部門面臨前所未有的壓力和責(zé)任。如何避免數(shù)據(jù)泄露對國家利益、公眾利益、個人隱私造成傷害？如何避免信息不對稱，對困難群體的利益構(gòu)成傷害？在有效控制風(fēng)險之前，也許還是讓“大數(shù)據(jù)”繼續(xù)待在籠子里更好一些。
　　大數(shù)據(jù)的經(jīng)濟(jì)價值已經(jīng)被人們認(rèn)可，大數(shù)據(jù)的技術(shù)正逐漸成熟，一旦完成數(shù)據(jù)的整合和監(jiān)管，大數(shù)據(jù)爆發(fā)的時代即將到來。人們現(xiàn)在要做的，就是選好自己的方向，為迎接大數(shù)據(jù)的到來提前做好準(zhǔn)備。
　　以未來的視角看，無論是政府、互聯(lián)網(wǎng)公司、IT企業(yè)，還是行業(yè)用戶，只要以開放的心態(tài)、創(chuàng)新的勇氣擁抱“大數(shù)據(jù)”，大數(shù)據(jù)時代就一定有屬于中國的機會。
　　1.2大數(shù)據(jù)基本概念〖*2〗1.2.1大數(shù)據(jù)定義麥肯錫(美國首屈一指的咨詢公司)是研究大數(shù)據(jù)的先驅(qū)。在其報告《Big data: The next frontier for innovation,competition and productivity》中給出的大數(shù)據(jù)定義是: 大數(shù)據(jù)指的是大小超出常規(guī)的數(shù)據(jù)庫工具獲取、存儲、管理和分析能力的數(shù)據(jù)集。但它同時強調(diào)，并不是說一定要超過特定太字節(jié)(TB)值的數(shù)據(jù)集才能算是大數(shù)據(jù)。
　　國際數(shù)據(jù)公司(IDC)從大數(shù)據(jù)的四個特征來定義，即海量的數(shù)據(jù)規(guī)模(Volume)、快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系(Velocity)、多樣的數(shù)據(jù)類型(Variety)、巨大的數(shù)據(jù)價值(Value)。
　　亞馬遜公司(全球最大的電子商務(wù)公司)的大數(shù)據(jù)科學(xué)家John Rauser 給出了一個簡單的定義: 大數(shù)據(jù)是任何超過了一臺計算機處理能力的數(shù)據(jù)量。
　　維基百科中只有短短的一句話: “巨量資料(Big Data)，或稱大數(shù)據(jù)，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊�！�
　　而在百度百科中是這樣定義的: “大數(shù)據(jù)(Big Data)，是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合�！�
　　綜合上面的定義，可以得出以下幾點。
　　(1) 大數(shù)據(jù)并沒有明確的界限，它的標(biāo)準(zhǔn)是可變的。大數(shù)據(jù)在今天的不同行業(yè)中的范圍可以從幾十太字節(jié)(TB)到幾拍字節(jié)(PB)，但在20年前1GB的數(shù)據(jù)已然是大數(shù)據(jù)了�？梢�，隨著計算機軟硬件技術(shù)的發(fā)展，符合大數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)集容量也會增長。
　　(2) 大數(shù)據(jù)不僅僅只是大，它還包含了數(shù)據(jù)集規(guī)模已經(jīng)超過了傳統(tǒng)數(shù)據(jù)庫軟件獲取、存儲、分析和管理能力的意思。
　　IDC報告顯示，計到2020年全球數(shù)據(jù)總量將超過40ZB(相當(dāng)于4萬億GB)，這一數(shù)據(jù)量是2011年的22倍。在過去幾年，全球的數(shù)據(jù)量以每年58%的速度增長，在未來這個速度會更快。如果按照現(xiàn)在存儲容量每年增長40%的速度計算，到2017年需要存儲的數(shù)據(jù)量甚至?xí)�大于存儲設(shè)備的總?cè)萘�。如何利用大�?shù)據(jù)解決科研、醫(yī)療、能源、商業(yè)、政府管理、城市建設(shè)等領(lǐng)域的問題，是全世界面臨的問題。
　　舉幾個大家熟悉例子: 2014年11月19日，百度在京召開“百度云兩周年媒體溝通會”，正式宣布百度云總用戶數(shù)突破兩億，百度云數(shù)據(jù)存儲量達(dá)5EB，這些數(shù)據(jù)足以塞滿3.4億部16GB內(nèi)存的iPhone6，如果將這些手機首尾相連，可以在地球和月球之間搭建16條星際通道。
　　2014年3月7日，在阿里巴巴有史以來最大型對外開放的數(shù)據(jù)峰會“2014西湖品學(xué)大數(shù)據(jù)峰會”上，阿里巴巴大數(shù)據(jù)負(fù)責(zé)人披露了阿里巴巴目前的數(shù)據(jù)儲存情況。目前在阿里巴巴數(shù)據(jù)平臺事業(yè)部的服務(wù)器上，攢下了超過100PB已處理過的數(shù)據(jù)，等于104857600GB，相當(dāng)于4萬個西雅圖中央圖書館，580億本藏書。僅淘寶和天貓兩個子公司每日新增的數(shù)據(jù)量，就足以讓一個人連續(xù)不斷看上28年的電影。而如果將一個人作為服務(wù)器，則此人處理的數(shù)據(jù)量相當(dāng)于每秒鐘看上837集的《來自星星的你》。
　　在2013年的數(shù)據(jù)大會上，騰訊公司數(shù)據(jù)平臺總經(jīng)理助理蔣杰透露，騰訊QQ目前擁有8億用戶、4億移動用戶，在數(shù)據(jù)倉庫存儲的數(shù)據(jù)量單機群數(shù)量已達(dá)到4400臺，總存儲數(shù)據(jù)量經(jīng)壓縮處理后約100PB，并且這一數(shù)據(jù)還在日增200～300TB、月增加率為10%的速度增長。
　　1993 年，《紐約客》刊登了一幅漫畫，標(biāo)題是“互聯(lián)網(wǎng)上，沒有人知道你是一條狗”。據(jù)說作者彼得·施泰納因為此漫畫的重印而賺取了超過5 萬美元。當(dāng)時關(guān)注互聯(lián)網(wǎng)社會學(xué)的一些專家，甚至擔(dān)憂“計算機異性扮裝”而引發(fā)的社會問題。
　　20多年后，互聯(lián)網(wǎng)發(fā)生了巨大的變化，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)大大拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域。人們在享受便利的同時，也無償貢獻(xiàn)了自己的“行蹤”�，F(xiàn)在互聯(lián)網(wǎng)不但知道對面是一條狗，還知道這條狗喜歡什么食物、幾點出去遛彎、幾點回窩睡覺。人們不得不接受這個現(xiàn)實，每個人在互聯(lián)網(wǎng)進(jìn)入到大數(shù)據(jù)時代都將是透明存在的。
　　1.2.2大數(shù)據(jù)結(jié)構(gòu)類型
　　當(dāng)今企業(yè)存儲的數(shù)據(jù)不僅僅是內(nèi)容多，而且結(jié)構(gòu)已發(fā)生了極大改變，不再僅僅是以二維表的規(guī)范結(jié)構(gòu)存儲。大量的數(shù)據(jù)來自不是結(jié)構(gòu)化的數(shù)據(jù)類型(半結(jié)構(gòu)化數(shù)據(jù)、準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù))，如辦公文檔、文本、圖片、XML、 HTML、各類報表、圖片、音頻和視頻等，并且這些數(shù)據(jù)在企業(yè)的所有數(shù)據(jù)中是大量且增長迅速的。企業(yè)80%的數(shù)據(jù)來自不是結(jié)構(gòu)化的數(shù)據(jù)類型，結(jié)構(gòu)化數(shù)據(jù)僅有20%。全球結(jié)構(gòu)化數(shù)據(jù)增長速度約為32%，而不是結(jié)構(gòu)化的數(shù)據(jù)類型增速高達(dá)63%。預(yù)計今年不是結(jié)構(gòu)化的數(shù)據(jù)類型占有比例將達(dá)到互聯(lián)網(wǎng)整個數(shù)據(jù)量的75%以上。
　　(1) 結(jié)構(gòu)化數(shù)據(jù): 包括預(yù)定義的數(shù)據(jù)類型、格式和結(jié)構(gòu)的數(shù)據(jù)。例如，關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)。
　　(2) 半結(jié)構(gòu)化數(shù)據(jù): 具有可識別的模式并可以解析的文本數(shù)據(jù)文件。例如，自描述和具有定義模式的XML數(shù)據(jù)文件。
　　(3) 準(zhǔn)結(jié)構(gòu)化數(shù)據(jù): 具有不規(guī)則數(shù)據(jù)格式的文本數(shù)據(jù)，使用工具可以使之格式化。例如，包含不一致的數(shù)據(jù)值和格式化的網(wǎng)站點擊數(shù)據(jù)，可參考http://www.zkpk.org/。
　　(4) 非結(jié)構(gòu)化數(shù)據(jù): 沒有固定結(jié)構(gòu)的數(shù)據(jù)，通常保存為不同類型的文件。例如，文本文檔、圖片、音頻和視頻。
　　1.2.3大數(shù)據(jù)核心特征
　　業(yè)界通常用4個V，即Volume(數(shù)據(jù)量大)、Variety(類型繁多)、Value(價值密度低)、Velocity(速度快，時效高)來概括大數(shù)據(jù)的特征。
　　……