<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    ivaneeo's blog

    自由的力量,自由的生活。

      BlogJava :: 首頁 :: 聯系 :: 聚合  :: 管理
      669 Posts :: 0 Stories :: 64 Comments :: 0 Trackbacks

    開場白:
    Hive與HBase的整合功能的實現是利用兩者本身對外的API接口互相進行通信,相互通信主要是依靠hive_hbase-handler.jar工具類 (Hive Storage Handlers), 大致意思如圖所示:
    hive-hbase

    口水:
     對 hive_hbase-handler.jar 這個東東還有點興趣,有空來磋磨一下。

    一、2個注意事項:
    1、需要的軟件有 Hadoop、Hive、Hbase、Zookeeper,Hive與HBase的整合對Hive的版本有要求,所以不要下載.0.6.0以前的老版本,Hive.0.6.0的版本才支持與HBase對接,因此在Hive的lib目錄下可以看見多了hive_hbase-handler.jar這個jar包,他是Hive擴展存儲的Handler ,HBase 建議使用 0.20.6的版本,這次我沒有啟動HDFS的集群環境,本次所有測試環境都在一臺機器上。
         
    2、運行Hive時,也許會出現如下錯誤,表示你的JVM分配的空間不夠,錯誤信息如下:
    Invalid maximum heap size: -Xmx4096m
    The specified size exceeds the maximum representable size.
    Could not create the Java virtual machine.

    解決方法:
    /work/hive/bin/ext# vim util/execHiveCmd.sh 文件中第33行
    修改,
    HADOOP_HEAPSIZE=4096

    HADOOP_HEAPSIZE=256

    另外,在 /etc/profile/ 加入 export $HIVE_HOME=/work/hive

    二、啟動運行環境
    1啟動Hive
    hive –auxpath /work/hive/lib/hive_hbase-handler.jar,/work/hive/lib/hbase-0.20.3.jar,/work/hive/lib/zookeeper-3.2.2.jar -hiveconf hbase.master=127.0.0.1:60000
    加載 Hive需要的工具類,并且指向HBase的master服務器地址,我的HBase master服務器和Hive運行在同一臺機器,所以我指向本地。

    2啟動HBase
    /work/hbase/bin/hbase master start

    3啟動Zookeeper
    /work/zookeeper/bin/zkServer.sh start

    三、執行
    在Hive中創建一張表,相互關聯的表
    CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "xyz");

    在運行一個在Hive中建表語句,并且將數據導入
    建表
        CREATE TABLE pokes (foo INT, bar STRING);
    數據導入
        LOAD DATA LOCAL INPATH '/work/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

    在Hive與HBase關聯的表中 插入一條數據
        INSERT OVERWRITE TABLE hbase_table_1 SELECT * FROM pokes WHERE foo=98;
    運行成功后,如圖所示:
    hive

    插入數據時采用了MapReduce的策略算法,并且同時向HBase寫入,如圖所示:
    Map-Reduce Job for INSERT

    在HBase shell中運行 scan 'xyz' 和describe "xyz" 命令,查看表結構,運行結果如圖所示:
    hive

    xyz是通過Hive在Hbase中創建的表,剛剛在Hive的建表語句中指定了映射的屬性 "hbase.columns.mapping" = ":key,cf1:val"  和 在HBase中建表的名稱 "hbase.table.name" = "xyz"

    在hbase在運行put命令,插入一條記錄
        put 'xyz','10001','cf1:val','www.javabloger.com'

    在hive上運行查詢語句,看看剛剛在hbase中插入的數據有沒有同步過來,
        select * from hbase_table_1 WHERE key=10001;
    如圖所示:
    hive

    最終的效果
        以上整合過程和操作步驟已經執行完畢,現在Hive中添加記錄HBase中有記錄添加,同樣你在HBase中添加記錄Hive中也會添加, 表示Hive與HBase整合成功,對海量級別的數據我們是不是可以在HBase寫入,在Hive中查詢 喃?因為HBase 不支持復雜的查詢,但是HBase可以作為基于 key 獲取一行或多行數據,或者掃描數據區間,以及過濾操作。而復雜的查詢可以讓Hive來完成,一個作為存儲的入口(HBase),一個作為查詢的入口(Hive)。如下圖示。
        hive mapreduce
        
        呵呵,見笑了,以上只是我面片的觀點。

    先這樣,稍后我將繼續更新,感謝你的閱讀。

     

    相關文章:
     Apache Hive入門2 
     Apache Hive入門1

     HBase入門篇4 
     HBase入門篇3 
     HBase入門篇2 
     HBase入門篇

    –end–

     

    豆瓣讀書  向你推薦有關 HBase、 Hadoop、 Hive、 MapReduce、 云計算、 架構設計、 類別的圖書。

    posted on 2011-01-10 15:22 ivaneeo 閱讀(4564) 評論(1)  編輯  收藏 所屬分類: bi(商務智能)

    Feedback

    # re: Hive與HBase的整合[未登錄] 2015-04-13 19:18 bill
    hive集成hbase數據同步過程中如果出現異常,會是什么結果? 例如往hive的表中插入100w記錄,往hbase同步的到一半的時候出現一個異常,會回滾掉所有hive的更新以及hbase的更新嗎  回復  更多評論
      

    主站蜘蛛池模板: 亚洲成a人片在线看| 女人被男人躁的女爽免费视频| 国产精品免费视频播放器| 亚洲伊人久久综合中文成人网| 午夜视频在线在免费| 亚洲成AV人片一区二区密柚| 又长又大又粗又硬3p免费视频| 一级特级aaaa毛片免费观看| 国产一级淫片视频免费看| 国产亚洲精品第一综合| 成人伊人亚洲人综合网站222| 免费无毒a网站在线观看| 亚洲狠狠爱综合影院婷婷| 中文字幕在线免费观看视频| 亚洲中文字幕无码中文字在线 | 丁香婷婷亚洲六月综合色| 国产1024精品视频专区免费| 亚洲国产av一区二区三区丶| 成年女人毛片免费观看97| 亚洲AV成人片无码网站| 亚洲精品成人区在线观看| 久久国产福利免费| 中文字幕亚洲综合久久2| 大地资源在线观看免费高清| 国产成人va亚洲电影| 亚洲午夜福利AV一区二区无码| 免费无遮挡无码永久视频| 亚洲最大成人网色香蕉| 免费在线一级毛片| 99精品视频在线观看免费专区| 亚洲一区二区三区在线| 亚洲精品动漫人成3d在线| 精品一区二区三区无码免费视频| 亚洲国产精品综合一区在线| 亚洲av区一区二区三| 亚洲午夜免费视频| 国产在亚洲线视频观看| 亚洲AV第一页国产精品| 中文字幕在线免费看线人| 亚洲国产成人手机在线电影bd| 国产免费怕怕免费视频观看|