cuiyi's blog（崔毅 crazycy）

市場研究公司IDC預(yù)測，2015年大數(shù)據(jù)市場規(guī)模將從2010年的32億美元增長到170億美元，復(fù)合年增長率為40%。大數(shù)據(jù)是一個龐大的新的領(lǐng)域，其中的數(shù)據(jù)集可以增長的非常龐大，以至于使用傳統(tǒng)的數(shù)據(jù)庫管理工具也很難處理。處理這種問題所需要的新工具、框架、硬件、軟件和服務(wù)是一個巨大的市場機(jī)會。隨著企業(yè)用戶越來越多地需要連續(xù)不斷地訪問數(shù)據(jù)，好的大數(shù)據(jù)工具集將以最低的成本和接近實時的速度提供可伸縮的、高性能的分析。通過分析這種數(shù)據(jù)，企業(yè)可得到更大的智能以及競爭優(yōu)勢。下面是Hadoop和大數(shù)據(jù)專業(yè)廠商MapR共同創(chuàng)始人和首席執(zhí)行官約翰·施羅德（John Schroeder）對2014大數(shù)據(jù)市場的預(yù)測。

1. SQL擁有大數(shù)據(jù)的最大潛力

用于 Hadoop（分布式計算）的SQL的發(fā)展能夠讓商業(yè)分析師利用自己的技能和選擇的SQL工具執(zhí)行大數(shù)據(jù)項目。開發(fā)人員可以選擇Hive、Drill和 Impala等Apache項目，以及選擇Hadapt、HAWQ和Splice Machine等公司的專有技術(shù)。

2. 盡管如此 SQL還面臨挑戰(zhàn)

SQL需要數(shù)據(jù)結(jié)構(gòu)。而集中的結(jié)構(gòu)化數(shù)據(jù)可引起延遲并且需要人工管理。SQL還限制分析類型。過分強(qiáng)調(diào)SQL將延遲機(jī)構(gòu)全面利用其數(shù)據(jù)價值的努力和延遲反應(yīng)。

3. 身份識別是主要的數(shù)據(jù)安全問題

隨著Hadoop（分布式計算）中提供的接入控制能力的猛烈攻擊，機(jī)構(gòu)迅速認(rèn)識到線路級身份識別是必要的基礎(chǔ)。沒有充分的身份識別，任何更高級的控制都很容易被繞過，妨礙預(yù)定的安全計劃。

4. 數(shù)據(jù)錯誤變成學(xué)習(xí)機(jī)會

2014年機(jī)構(gòu)將出現(xiàn)許多數(shù)據(jù)錯誤。數(shù)據(jù)錯誤將表明基礎(chǔ)的來源系統(tǒng)的問題嗎？數(shù)據(jù)錯誤是在下游分析中出現(xiàn)偏差導(dǎo)致的數(shù)據(jù)提取問題嗎？數(shù)據(jù)錯誤將表明定義差異或者缺少跨部門和業(yè)務(wù)部門的一致性嗎？2014年將看到解決數(shù)據(jù)異常問題。

5. 出現(xiàn)可運(yùn)行的Hadoop

2014年將看到Hadoop在各個行業(yè)中的生產(chǎn)部署顯著增加。這將顯示出Hadoop在運(yùn)營中的實力。在那里，生產(chǎn)應(yīng)用與分析結(jié)合在一起能夠提供可以衡量的商業(yè)優(yōu)勢，如在客戶化零售建議、詐騙檢測和試驗傳感器數(shù)據(jù)進(jìn)行規(guī)范的維護(hù)等應(yīng)用中提供這些優(yōu)勢。

6. 更多的數(shù)據(jù)倉庫將部署企業(yè)數(shù)據(jù)中心

數(shù)據(jù)中心把數(shù)據(jù)提取處理和數(shù)據(jù)從企業(yè)數(shù)據(jù)倉庫卸載到Hadoop。作為一個核心的中心企業(yè)中心，數(shù)據(jù)中心要便宜10倍，能夠?qū)︻~外的處理或者新的應(yīng)用進(jìn)行更多的分析。

7. 新的以數(shù)據(jù)為中心的應(yīng)用將成為強(qiáng)制性的

利用大數(shù)據(jù)的能力將在2014年成為競爭的武器。更多的公司將使用大數(shù)據(jù)和Hadoop準(zhǔn)確地針對個人消費者的偏愛追逐賺錢的追加銷售和交叉銷售的機(jī)會，更好地緩解風(fēng)險以及減少生產(chǎn)和開銷成本。

8. 數(shù)據(jù)成為數(shù)據(jù)中心的核心

機(jī)構(gòu)將從開發(fā)者過渡到大數(shù)據(jù)計劃中。IT部門將越來越多地?fù)?dān)負(fù)定義支持多種應(yīng)用的數(shù)據(jù)基礎(chǔ)設(shè)施的任務(wù)，把重點集中在部署、處理和保護(hù)一個機(jī)構(gòu)的核心資產(chǎn)所需要的基礎(chǔ)設(shè)施方面。

9. 搜索將成為非結(jié)構(gòu)化的查詢語言

2013年有大量的用于Hadoop的SQL計劃。2014年將是這種非結(jié)構(gòu)化查詢語言成為重點的一年。把搜索集成到Hadoop將為查找重要信息的企業(yè)用戶提供一種簡單和直觀的方法。搜索引擎還是包括推薦引擎在內(nèi)的許多發(fā)現(xiàn)和分析應(yīng)用的核心。

10. Hadoop將獲得地位

Hadoop將繼續(xù)取代其它IT開支，顛覆企業(yè)數(shù)據(jù)倉庫和企業(yè)存儲。例如，甲骨文的主要營收目標(biāo)在過去的10個季度里有5個季度沒有實現(xiàn)。Teradata在過去的5個季度有4個季度沒有實現(xiàn)營收和利潤目標(biāo)。

11. Hadoop仍需要幫助才能成為主流應(yīng)用

更多的機(jī)構(gòu)認(rèn)識到Apache Hadoop本身還沒有準(zhǔn)備好在企業(yè)應(yīng)用。Apache Hadoop不是為系統(tǒng)管理或者災(zāi)難恢復(fù)等統(tǒng)一企業(yè)IT流程設(shè)計的。企業(yè)將繼續(xù)推進(jìn)混合的解決方案，把架構(gòu)技術(shù)創(chuàng)新與Apache Hadoop的開源軟件結(jié)合在一起。

當(dāng)下，“大數(shù)據(jù)”已成為2013年最火的技術(shù)詞匯之一；而在過去一年，這個市場的增速和改變也不可謂不大。同時，我們還看到了Hadoop及其生態(tài)系統(tǒng)的使用門檻從頂尖技術(shù)人才到數(shù)據(jù)科學(xué)家的改變。越來越多的企業(yè)擁抱大數(shù)據(jù)技術(shù)，并將其運(yùn)用到生產(chǎn)環(huán)境中。那么，在2014年大數(shù)據(jù)的發(fā)展趨勢又會如何，這里不妨看一下來自CIO的12項預(yù)測：

1. 人們不再止步于大數(shù)據(jù)的談?wù)?/span> 

2014年，大數(shù)據(jù)止于說的情況將發(fā)生改變，人們將致力于從中獲益，所有大數(shù)據(jù)的炒作也將“煙消云散”。從Gainsight了解到，大數(shù)據(jù)本身也將成為桌面上的籌碼，Gainsight在其IaaS平臺中利用大數(shù)據(jù)分析被其稱之為“customer success management”的服務(wù)。Gainsight認(rèn)為，在2014年，每家云應(yīng)用程序提供商都將會讓其后端基礎(chǔ)設(shè)施支持大數(shù)據(jù)。

2. Hadoop將成為企業(yè)的關(guān)鍵組件
Hadoop將普及，大數(shù)據(jù)也不會再繼續(xù)止步于云服務(wù)。Alteryx認(rèn)為，2014年，Hadoop的適用場景將超越批處理和存儲，將成為企業(yè)數(shù)據(jù)架構(gòu)中通用的核心組件，這意味著數(shù)據(jù)分析將繼續(xù)成為大數(shù)據(jù)的首要用例。

3. 企業(yè)將更加鐘情于用戶數(shù)據(jù)
從Gainsight了解到，各個機(jī)構(gòu)將對用戶數(shù)據(jù)充滿熱情，企業(yè)將充分利用客戶與其在線產(chǎn)品或服務(wù)交互產(chǎn)生的數(shù)據(jù)，并從中獲取價值。為了實現(xiàn)這點，數(shù)據(jù)分析能力將比BI團(tuán)隊更受重視，為企業(yè)提供更多的價值。

4. 大數(shù)據(jù)玩轉(zhuǎn)市場決策
Alteryx認(rèn)為，在2014年，大數(shù)據(jù)將首次正式登陸市場營銷，用于市場營銷的大數(shù)據(jù)技術(shù)將在這一年扮演重要角色——影響著廣告、產(chǎn)品推銷和消費者行為，World Cup及Winter Olympics將是其最大的舞臺。

5. 海量的數(shù)據(jù)將超越數(shù)據(jù)科學(xué)家的意識
lteryx認(rèn)為，新型的數(shù)據(jù)分析需求將超越人力可為，有些情況下大數(shù)據(jù)技術(shù)將堪比成千上萬的數(shù)據(jù)科學(xué)家。該公司預(yù)測，這將會毫無疑問的拉低數(shù)據(jù)科學(xué)家薪酬。

6. 物聯(lián)網(wǎng)將進(jìn)軍網(wǎng)絡(luò)
IEEE的專業(yè)協(xié)會認(rèn)為，2014年，可識別事物將無縫的連接到信息網(wǎng)絡(luò)，實現(xiàn)真正意義上的Web of Things。The Web of Things將會充分利用移動設(shè)備和傳感器的監(jiān)控能力，增強(qiáng)現(xiàn)實世界中的物體與Web副本之間的協(xié)同性。

The Web of Things將會生成大量與現(xiàn)實世界相關(guān)的數(shù)據(jù)，因而會需求智能化的解決方案在現(xiàn)實世界與相對應(yīng)的數(shù)字世界資源之間賦予連接性、網(wǎng)際互連和相關(guān)性。

7. 從大數(shù)據(jù)到海量數(shù)據(jù)
數(shù)據(jù)的體積、速度和類型（volume、velocity和variety）在2014年將會繼續(xù)呈指數(shù)級增長，因此需要更簡單的分析工具來駕馭這些“數(shù)據(jù)洪流”。

IEEE稱，“不止是3個V讓大數(shù)據(jù)成了非常難以制服的老虎，數(shù)據(jù)科學(xué)家及行業(yè)所需簡單工具也是個難題，許多行業(yè)尚無獨立提取數(shù)據(jù)價值的能力。當(dāng)前已出現(xiàn)的海量數(shù)據(jù)時代更需求數(shù)據(jù)管理和分析上新的范式和實踐。2014年，這個領(lǐng)域?qū)⑸涎萑盒蹱幇浴?/span>”

8. R語言將取代傳統(tǒng)SAS解決方案
Alteryx認(rèn)為，基于R編程語言的分析將數(shù)據(jù)科學(xué)家“御用”模式，這種分析在2014年將成為主流，將替代傳統(tǒng)的SAS及SPSS模式。Alteryx說道：“超過200萬用戶和300萬的分析師都在尋找更好的解決方案，R恰逢其時。”

9. Hadoop將增加實時特性
SQL-on-Hadoop供應(yīng)商Splice Machine共同創(chuàng)始人兼CEO Monte Zweben指出，未來1年建立在Hadoop平臺上的交互式應(yīng)用程序?qū)⒊时l(fā)式增長，其中包括Web應(yīng)用、移動應(yīng)用和社交應(yīng)用，人們可以與之進(jìn)行實時的交互。

Zweben說道：“2014將帶來實時大數(shù)據(jù)應(yīng)用程序平臺，企業(yè)將不會只能像當(dāng)下一樣分析歷史數(shù)據(jù)，你將有能力分析5分鐘，甚至是1分鐘之內(nèi)的數(shù)據(jù)；企業(yè)將擁有交互式應(yīng)用程序，以便實時的制定決策。”

10. Hadoop將得到企業(yè)級強(qiáng)化
Splice Machine的Zweben說：“毋庸置疑，Hadoop是個了不起的平臺，但是仍然有許多工作要做。”

他認(rèn)為，在2014，你將看到Hadoop向安全、運(yùn)營管理、資源管理及多站點響應(yīng)方向發(fā)展。Zweben補(bǔ)充道：“你將看到所有的企業(yè)級需求，我認(rèn)為這些將是未來主要的焦點。”

11.  2014年底，至少有一家NoSQL IPO
大數(shù)據(jù)及云環(huán)境安全解決方案Gazzang董事長兼CEO Larry Warnock預(yù)測，在2014，至少有一家Hadoop或者NoSQL供應(yīng)商會IPO，這標(biāo)志著大數(shù)據(jù)平臺已被廣泛認(rèn)可。

Warnock說道：“我不會去預(yù)測哪家會IPO，但是至少會有一家Hadoop或NoSQL供應(yīng)商IPO。通過Wikibon了解到，在2012年，NoSQL軟件和服務(wù)創(chuàng)造了2.86億美元的稅收，而在2017年，這個數(shù)據(jù)被預(yù)測為18.25億。商場被不斷增長的企業(yè)需求推動，他們需要靈活、可擴(kuò)展及負(fù)擔(dān)得起的數(shù)據(jù)管理解決方案，為新時代的云及大數(shù)據(jù)設(shè)計。”

12. 一個新的分析堆棧將誕生
Alteryx 預(yù)測，2014年，將出現(xiàn)一個新的數(shù)據(jù)及分析堆棧，為數(shù)據(jù)庫、分析、可視化提供新的解決方案，這將直接威脅到傳統(tǒng)的供應(yīng)商巨頭，而這些供應(yīng)商也會在匆忙中推出新的解決方案。