<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    paulwong

    HBASE讀書筆記

    GET、PUT是ONLINE的操作,MAPREDUCE是OFFLINE的操作


    HDFS寫流程
    客戶端收到要保存文件的請求后,將文件以64M為單位拆成若干份BLOCK,形成一個列表,即由幾個BLOCK組成,將這些信息告訴NAME NODE,我要保存這個,NAME NODE算出一個列表,哪段BLOCK應該寫到哪個DATA NODE,客戶端將第一個BLOCK傳到第一個節點DATA NODE A,通知其保存,同時讓它通知DATA NODE D和DATA NODE B也保存一份,DATA NODE D收到信息后進行了保存,同時通知DATA NODE B保存一份,DATA NODE B保存完成后則通知客戶端保存完成,客戶端再去向NAME NODE中取下一個BLOCK要保存的位置,重復以上的動作,直到所有的BLOCK都保存完成。

    HDFS讀流程
    客戶端向NAME NODE請求讀一個文件,NAME NODE返回這個文件所構成的所有BLOCK的DATA NODE IP及BLOCK ID,客戶端并行的向各DATA NODE發出請求,要取某個BLOCK ID的BLOCK,DATA NODE發回所要的BLOCK給客戶端,客戶端收集到所有的BLOCK后,整合成一個完整的文件后,此流程結束。


    MAPREDUCE流程
    輸入數據 -- 非多線程了,而是多進程的挑選數據,即將輸入數據分成多塊,每個進程處理一塊 -- 分組 -- 多進程的匯集數據 -- 輸出

    HBASE表結構
    HBASE中將一個大表數據分成不同的小表,每個小表叫REGION,存放REGION的服務器叫REGIONSERVER,一個REGIONSERVER可以存放多個REGION。通常REGIONSERVER和DATA NODE是在同一服務器,以減少NETWORK IO。
    -ROOT-表存放于MASTER SERVER上,記錄了一共有多少個REGIONSERVER,每個REGION SERVER上都有一個.META.表,上面記錄了本REGION SERVER放有哪幾個表的哪幾個REGION。如果要知道某個表共有幾個REGION,就得去所有的REGION SERVER上查.META.表,進行匯總才能得知。
    客戶端如果要查ROW009的信息,先去咨詢ZOOPKEEPER,-ROOT-表在哪里,然后問-ROOT-表,哪個.META.知道這個信息,然后去問.META.表,哪個REGION有這個信息,然后去那個REGION問ROW009的信息,然后那個REGION返回此信息。


    HBASE MAPREDUCE
    一個REGION一個MAP任務,而任務里的map方法執行多少次,則由查詢出來的記錄有多少條,則執行多少次。
    REDUCE任務負責向REGION寫數據,但寫到哪個REGION則由那個KEY歸屬哪個REGION管,則寫到哪個REGION,有可能REDUCE任務會和所有的REGION SERVER交互。


    在HBASE的MAPREDUCE JOB中使用JOIN
    REDUCE-SIDE JOIN
    利用現有的SHUTTLE分組機制,在REDUCE階段做JOIN,但由于MAP階段數據大,可能會有性能問題。
    MAP-SIDE JOIN
    將數據較少的一表讀到一公共文件中,然后在MPA方法中循環另一表的數據,再將要的數據從公共文件中讀取。這樣可以減少SHUTTLE和SORT的時間,同時也不需要REDUCE任務。

    posted on 2013-02-01 13:55 paulwong 閱讀(475) 評論(0)  編輯  收藏 所屬分類: 分布式HADOOPHBASE

    主站蜘蛛池模板: 亚洲国产精品线观看不卡| 成年女性特黄午夜视频免费看| 日韩免费视频播播| 亚洲真人无码永久在线观看| 成人免费视频软件网站| 亚洲中文字幕久久无码| 在线观看免费宅男视频| 亚洲av无码专区在线电影| 在线日韩av永久免费观看| 亚洲AV无码XXX麻豆艾秋| 国产又大又粗又硬又长免费| 亚洲日韩在线中文字幕综合| 国产又粗又猛又爽又黄的免费视频| 美女视频黄频a免费观看| 亚洲欧洲精品成人久久奇米网| 国产成人无码精品久久久久免费 | 国产国产成年年人免费看片| 亚洲a∨无码精品色午夜| 免费中文字幕在线| 国产日韩久久免费影院| 亚洲91av视频| 中国在线观看免费国语版| 在线观看亚洲AV日韩A∨| 亚洲国产精品狼友中文久久久| 久久国产福利免费| 久久久久亚洲av无码专区喷水| 久久精品国产免费观看| 亚洲av无码成人精品区一本二本| 亚洲日韩中文在线精品第一| 中文字幕无码一区二区免费| 亚洲无砖砖区免费| 亚洲午夜爱爱香蕉片| 日本免费大黄在线观看| 中文字幕乱码亚洲精品一区| 国产精品亚洲αv天堂无码| 中文字幕在线免费| 视频一区在线免费观看| 夜夜亚洲天天久久| 国产一级淫片视频免费看| 一级毛片免费观看不卡的| 最新亚洲人成网站在线观看|