今年過年，去一位長輩家拜年，剛好碰見他在研究股票趨勢，閑聊之下，“大數(shù)據(jù)”，竟然也從他嘴里蹦出來。真是 duang的一聲，把我嚇了一跳。大數(shù)據(jù)，真不再是只可遠觀，高大上的主了。

大數(shù)據(jù)雖然不再飄在空中，但對大數(shù)據(jù)的爭論卻從未停過。

何為大數(shù)據(jù)？

大數(shù)據(jù)的概念，喧囂社會之上也有好幾年了。但具體什么是大數(shù)據(jù)，行業(yè)里也是各說不一。大狹義上來講，大數(shù)據(jù)就是巨量數(shù)據(jù)，極大量的數(shù)據(jù)。但究竟是“多大”，才叫大數(shù)據(jù)呢？也是未有一個統(tǒng)一的說法，一般來說，10T量級的數(shù)據(jù)量，就可以稱之為“大”數(shù)據(jù)了。而廣義上的大數(shù)據(jù)，更多是指包括數(shù)據(jù)本身在內(nèi)的，一整套數(shù)據(jù)處理分析框架。縱觀眾多的何為大數(shù)據(jù)，小K以為，研究機構(gòu)Gartner給的定義還是比較不錯的，也是百度百科上采用的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量的、高速增長率和多樣化的信息資產(chǎn)。

這個定義還是比較好的，區(qū)分了純數(shù)據(jù)量論，也比較符合實際項目落地的情況。比如一個客戶終端偏好分析，如果在現(xiàn)有數(shù)據(jù)、分析模型上，已經(jīng)可以99%的機會準確分析出來，那再增加大量的數(shù)據(jù)去分析，這是毫無意義的，可能由于噪音數(shù)據(jù)的增加，準確率更低也是可能的，就不應(yīng)該歸入大數(shù)據(jù)的范疇，用大數(shù)據(jù)的方式去處理。目標數(shù)據(jù)要重質(zhì)，而不是單純的量。

大數(shù)據(jù)平臺化

   大數(shù)據(jù)該怎么玩？這也是一個大家熱烈討論的領(lǐng)域。大數(shù)據(jù)的快速發(fā)展、落地生根，可能已經(jīng)超出了它的最初的含義，拓展了內(nèi)涵。在數(shù)據(jù)量不斷劇增，數(shù)據(jù)資產(chǎn)化的趨勢下，大數(shù)據(jù)平臺化已經(jīng)成為業(yè)內(nèi)比較流行的一種建設(shè)方式。大數(shù)據(jù)平臺重在數(shù)據(jù)的采集、存儲、處理，重在數(shù)據(jù)能力的提供上，給應(yīng)用建設(shè)提供數(shù)據(jù)支撐，而不是直接面對最終用戶。如下圖：

大數(shù)據(jù)平臺解決了在以往技術(shù)框架內(nèi)，面對大量數(shù)據(jù)時難以解決的數(shù)據(jù)采集、存儲、處理問題，并根據(jù)上層應(yīng)用需求，提供了數(shù)據(jù)能力服務(wù)，支撐上層應(yīng)用開發(fā)，滿足最終用戶的各類需求。

在此，或許有朋友要糾結(jié)于：大數(shù)據(jù)平臺用什么技術(shù)建設(shè)比較好呢？目前熱門的hadoop技術(shù)？后起之秀spark？還是沉穩(wěn)的MPP？諸如此類。有什么關(guān)系呢？技術(shù)是為業(yè)務(wù)服務(wù)的，技術(shù)也是優(yōu)劣并存的，考慮的因素不一樣，技術(shù)選型就不一樣，沒有最好的技術(shù)，只有最合適的場景。也許，沒幾年之后，又是一片新技術(shù)的天下。

小結(jié)

根據(jù)IDC的研究，從2005年到2012年，全球的數(shù)據(jù)量翻了27番，約達到2.5ZB，其中僅有25%的數(shù)據(jù)是有用的，僅有3%的數(shù)據(jù)貼有標簽?zāi)鼙皇褂茫瑑H有0.5%的數(shù)據(jù)被用于分析。大量的數(shù)據(jù)被閑置，被丟棄，價值被埋沒。隨著技術(shù)的不斷發(fā)展，數(shù)據(jù)價值的不斷體現(xiàn)，大數(shù)據(jù)將會成為推動未來企業(yè)發(fā)展的重要引擎。BAT知道，全世界也知道。大數(shù)據(jù)之路，任重而道遠。