今年過(guò)年，去一位長(zhǎng)輩家拜年，剛好碰見(jiàn)他在研究股票趨勢(shì)，閑聊之下，“大數(shù)據(jù)”，竟然也從他嘴里蹦出來(lái)。真是 duang的一聲，把我嚇了一跳。大數(shù)據(jù)，真不再是只可遠(yuǎn)觀，高大上的主了。

大數(shù)據(jù)雖然不再飄在空中，但對(duì)大數(shù)據(jù)的爭(zhēng)論卻從未停過(guò)。

何為大數(shù)據(jù)？

大數(shù)據(jù)的概念，喧囂社會(huì)之上也有好幾年了。但具體什么是大數(shù)據(jù)，行業(yè)里也是各說(shuō)不一。大狹義上來(lái)講，大數(shù)據(jù)就是巨量數(shù)據(jù)，極大量的數(shù)據(jù)。但究竟是“多大”，才叫大數(shù)據(jù)呢？也是未有一個(gè)統(tǒng)一的說(shuō)法，一般來(lái)說(shuō)，10T量級(jí)的數(shù)據(jù)量，就可以稱(chēng)之為“大”數(shù)據(jù)了。而廣義上的大數(shù)據(jù)，更多是指包括數(shù)據(jù)本身在內(nèi)的，一整套數(shù)據(jù)處理分析框架?？v觀眾多的何為大數(shù)據(jù)，小K以為，研究機(jī)構(gòu)Gartner給的定義還是比較不錯(cuò)的，也是百度百科上采用的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量的、高速增長(zhǎng)率和多樣化的信息資產(chǎn)。

這個(gè)定義還是比較好的，區(qū)分了純數(shù)據(jù)量論，也比較符合實(shí)際項(xiàng)目落地的情況。比如一個(gè)客戶(hù)終端偏好分析，如果在現(xiàn)有數(shù)據(jù)、分析模型上，已經(jīng)可以99%的機(jī)會(huì)準(zhǔn)確分析出來(lái)，那再增加大量的數(shù)據(jù)去分析，這是毫無(wú)意義的，可能由于噪音數(shù)據(jù)的增加，準(zhǔn)確率更低也是可能的，就不應(yīng)該歸入大數(shù)據(jù)的范疇，用大數(shù)據(jù)的方式去處理。目標(biāo)數(shù)據(jù)要重質(zhì)，而不是單純的量。

大數(shù)據(jù)平臺(tái)化

   大數(shù)據(jù)該怎么玩？這也是一個(gè)大家熱烈討論的領(lǐng)域。大數(shù)據(jù)的快速發(fā)展、落地生根，可能已經(jīng)超出了它的最初的含義，拓展了內(nèi)涵。在數(shù)據(jù)量不斷劇增，數(shù)據(jù)資產(chǎn)化的趨勢(shì)下，大數(shù)據(jù)平臺(tái)化已經(jīng)成為業(yè)內(nèi)比較流行的一種建設(shè)方式。大數(shù)據(jù)平臺(tái)重在數(shù)據(jù)的采集、存儲(chǔ)、處理，重在數(shù)據(jù)能力的提供上，給應(yīng)用建設(shè)提供數(shù)據(jù)支撐，而不是直接面對(duì)最終用戶(hù)。如下圖：

大數(shù)據(jù)平臺(tái)解決了在以往技術(shù)框架內(nèi)，面對(duì)大量數(shù)據(jù)時(shí)難以解決的數(shù)據(jù)采集、存儲(chǔ)、處理問(wèn)題，并根據(jù)上層應(yīng)用需求，提供了數(shù)據(jù)能力服務(wù)，支撐上層應(yīng)用開(kāi)發(fā)，滿(mǎn)足最終用戶(hù)的各類(lèi)需求。

在此，或許有朋友要糾結(jié)于：大數(shù)據(jù)平臺(tái)用什么技術(shù)建設(shè)比較好呢？目前熱門(mén)的hadoop技術(shù)？后起之秀spark？還是沉穩(wěn)的MPP？諸如此類(lèi)。有什么關(guān)系呢？技術(shù)是為業(yè)務(wù)服務(wù)的，技術(shù)也是優(yōu)劣并存的，考慮的因素不一樣，技術(shù)選型就不一樣，沒(méi)有最好的技術(shù)，只有最合適的場(chǎng)景。也許，沒(méi)幾年之后，又是一片新技術(shù)的天下。

小結(jié)

根據(jù)IDC的研究，從2005年到2012年，全球的數(shù)據(jù)量翻了27番，約達(dá)到2.5ZB，其中僅有25%的數(shù)據(jù)是有用的，僅有3%的數(shù)據(jù)貼有標(biāo)簽?zāi)鼙皇褂?，僅有0.5%的數(shù)據(jù)被用于分析。大量的數(shù)據(jù)被閑置，被丟棄，價(jià)值被埋沒(méi)。隨著技術(shù)的不斷發(fā)展，數(shù)據(jù)價(jià)值的不斷體現(xiàn)，大數(shù)據(jù)將會(huì)成為推動(dòng)未來(lái)企業(yè)發(fā)展的重要引擎。BAT知道，全世界也知道。大數(shù)據(jù)之路，任重而道遠(yuǎn)。