<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    paulwong

    HBASE讀書筆記-基礎功能

    1. HBASE的SHELL命令使用

    2. HBASE的JAVA CLIENT的使用

      新增和修改記錄用PUT。

      PUT的執行流程:
      首先會在內存中增加MEMSTORE,如果這個表有N個COLOUMN FAMILY,則會產生N個MEMSTORE,記錄中的值屬于不同的COLOUMN FAMILY的,會保存到不同的MEMSTORE中。MEMSTORE中的值不會馬上FLUSH到文件中,而是到MEMSTORE滿的時候再FLUSH,且FLUSH的時候不會寫入已存在的HFILE中,而是新增一個HFILE去保存。另外會寫WRITE AHEAD LOG,這是由于新增記錄時不是馬上寫入HFILE的,如果中途出現DOWN機時,則HBASE重啟時會根據這個LOG來恢復數據。

      刪除記錄用DELETE。

      刪除時并不會將在HFILE中的內容刪除,而是作一標記,然后在查詢的時候可以不取這些記錄。

      讀取單條記錄用GET。

      讀取的時候會將記錄保存到CAHE中,同樣如果這個表有N個COLOUMN FAMILY,則會產生N個CAHE
      ,記錄中的值屬于不同的COLOUMN FAMILY的,會保存到不同的CAHE中。這樣下次客戶端再取記錄時會綜合CAHE和MEMSTORE來返回數據。

      新增表用HADMIN。

      查詢多條記錄用SCAN和FILTER。

    3. HBASE的分布式計算

      為什么會有分布式計算
      前面的API是針對ONLINE的應用,即要求低延時的,相當于OLTP。而針對大量數據時這些API就不適用了。
      如要針對全表數據進行分析時用SCAN,這樣會將全表數據取回本地,如果數據量在100G時會耗幾個小時,為了節省時間,引入多線程做法,但要引入多線程時,需遵從新算法:將全表數據分成N個段,每段用一個線程處理,處理完后,交結果合成,然后進行分析。

      如果數據量在200G或以上時間就加倍了,多線程的方式不能滿足了,因此引入多進程方式,即將計算放在不同的物理機上處理,這時就要考慮每個物理機DOWN機時的處理方式等情況了,HADOOP的MAPREDUCE則是這種分布式計算的框架了,對于應用者而言,只須處理分散和聚合的算法,其他的無須考慮。

      HBASE的MAPREDUCE
      使用TABLEMAP和TABLEREDUCE。

      HBASE的部署架構和組成的組件
      架構在HADOOP和ZOOPKEEPER之上。

      HBASE的查詢記錄和保存記錄的流程
      說見前一編博文。

      HBASE作為數據來源地、保存地和共享數據源的處理方式
      即相當于數據庫中JOIN的算法:REDUCE SIDE JOIN、MAP SIDE JOIN。

    posted on 2013-02-06 09:53 paulwong 閱讀(610) 評論(0)  編輯  收藏 所屬分類: HADOOP云計算HBASE

    主站蜘蛛池模板: 亚洲成综合人影院在院播放| 成年美女黄网站色大免费视频| 亚洲精品动漫人成3d在线| 亚洲va中文字幕| 天天操夜夜操免费视频| 亚洲国产系列一区二区三区| 日韩中文字幕精品免费一区| 国产亚洲精品影视在线| 日本大片在线看黄a∨免费| 亚洲AV日韩综合一区| 四虎免费永久在线播放| 在线播放免费人成视频网站| 亚洲性在线看高清h片| 免费萌白酱国产一区二区三区| 亚洲AV日韩AV鸥美在线观看| **一级毛片免费完整视| 中文字幕亚洲精品无码| 日韩视频免费在线| 一区二区三区在线免费| 亚洲AV日韩AV鸥美在线观看| 国产人在线成免费视频| 国产成人亚洲毛片| 亚洲国产精品成人精品无码区在线 | 日韩免费在线中文字幕| 亚洲午夜未满十八勿入网站2| 亚洲免费人成在线视频观看| 亚洲国产精品乱码在线观看97| 女人让男人免费桶爽30分钟| 无遮挡国产高潮视频免费观看| 国产l精品国产亚洲区在线观看| 91嫩草免费国产永久入口| 亚洲av永久无码| 国产亚洲情侣一区二区无| 97久久免费视频| 黄色一级毛片免费看| 久久夜色精品国产嚕嚕亚洲av| 免费电影在线观看网站| 中文字幕在线免费视频| 亚洲人和日本人jizz| 国产成人综合亚洲亚洲国产第一页| 亚洲一级毛片免费看|