<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    tangtb

    Hadoop,SpringMVC,ExtJs,Struts2,Spring,SpringSecurity,Hibernate,Struts
    posts - 25, comments - 88, trackbacks - 0, articles - 0
      BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理

    Sqoop安裝配置及數據導入導出

    Posted on 2014-05-31 14:41 tangtb 閱讀(20284) 評論(3)  編輯  收藏 所屬分類: Hadoop

    前置條件

    已經成功安裝配置HadoopMysql數據庫服務器,如果將數據導入或從Hbase導出,還應該已經成功安裝配置Hbase。

    下載sqoopMysqlJDBC驅動

    sqoop-1.2.0-CDH3B4.tar.gz http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz

    mysql-connector-java-5.1.28

    安裝sqoop

    [hadoop@appserver ~]$ tar -zxvf sqoop-1.2.0-CDH3B4.tar.gz

    配置環境變量

    拷貝Hadoop核心包和MYSQL驅動包到sqooplib目錄

    [hadoop@appserver ~]$ cp hadoop-1.1.2/hadoop-core-1.1.2.jar sqoop-1.2.0-CDH3B4/lib/

    [hadoop@appserver ~]$ cp  mysql-connector-java-5.1.28-bin.jar sqoop-1.2.0-CDH3B4/lib/

     

    配置sqoop-1.2.0-CDH3B4/bin/configure-sqoop文件

    注釋掉hbase和zookeeper檢查(除非準備使用HABASE等HADOOP組件)

    啟動hadoop集群

    啟動mysql

    創建sqoop用戶

     

    建立sqoop庫,test表,并構造測試數據

    測試sqoop連接

    [hadoop@appserver ~]$ sqoop list-databases --connect jdbc:mysql://10.120.10.11:3306/ --username sqoop --password sqoop

    列出mysql中所有數據庫的名稱

    mysql導入到hdfs

    sqoop ##sqoop命令

    import ##表示導入

    --connect jdbc:mysql://ip:3306/sqoop ##告訴jdbc,連接mysql的url

    --username sqoop ##連接mysql的用戶名

    --password sqoop ##連接mysql的密碼

    --table test ##從mysql導出的表名稱

    --fields-terminated-by '\t' ##指定輸出文件中的行的字段分隔符

    -m 1 ##復制過程使用1個map作業

     

    [hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --fields-terminated-by ':' -m 1

    Hadoop中查看導入結果

    hdfs導出到mysql

    sqoop

    export ##表示數據從hive復制到mysql中

    --connect jdbc:mysql://ip:3306/sqoop

    --username sqoop

    --password sqoop

    --table test ##mysql中的表,即將被導入的表名稱

    --export-dir '/user/root/aa/part-m-00000' ##hive中被導出的文件

    --fields-terminated-by '\t' ##hive中被導出的文件字段的分隔符

    [hadoop@appserver ~]$ sqoop export --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --export-dir '/user/hadoop/test/part-m-00000' --fields-terminated-by ':' -m 1

    Mysql中查看導出結果

    Mysql導入到Hbase

    參數說明:

    Ø hbase_tablename指定要導成hbase的表名

    Ø key_col_name指定mysql數據庫表中哪一列作為hbase新表的rowkey

    Ø col_fam_name是除rowkey之外的所有列的列族名

    [hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --hbase-create-table --hbase-table mysql_sqoop_test --column-family info --hbase-row-key id -m 1

    Hbase中查看結果


    評論

    # re: Sqoop安裝配置及數據導入導出  回復  更多評論   

    2014-06-04 17:02 by 艾青
    不錯的東東,謝謝樓主分享!

    # re: Sqoop安裝配置及數據導入導出[未登錄]  回復  更多評論   

    2014-07-07 09:50 by 小豪
    記得以前在http://www.lq580.com/有相關的介紹,不過現在怎么變成了一個叫綠求網的東東呢,不明白?

    # re: Sqoop安裝配置及數據導入導出  回復  更多評論   

    2016-06-22 20:54 by Hadoop
    不錯 就是有點淺
    主站蜘蛛池模板: 国内精品免费视频精选在线观看| 美女无遮挡拍拍拍免费视频| 亚洲妇女水蜜桃av网网站| 亚洲视频在线免费播放| 亚洲中文字幕在线无码一区二区 | 亚洲一区二区三区在线视频| 国产亚洲精品拍拍拍拍拍| 老司机亚洲精品影院| 亚洲av无码成人精品国产| 一区二区3区免费视频| 亚洲黄色免费观看| 免费永久看黄在线观看app| 亚洲国产三级在线观看| 亚洲欧洲另类春色校园网站| 中文成人久久久久影院免费观看| 日韩亚洲国产高清免费视频| 亚洲国产日韩成人综合天堂| 亚洲AV无码久久久久网站蜜桃 | 亚洲aⅴ无码专区在线观看| 国产男女猛烈无遮挡免费网站| 亚洲AV无码一区二区二三区入口 | 久久国产亚洲精品无码| 免费女人高潮流视频在线观看| 国产美女被遭强高潮免费网站| 综合一区自拍亚洲综合图区| 99热免费在线观看| 一区二区亚洲精品精华液| 亚洲精品免费在线观看| 亚洲最大AV网站在线观看| 美女尿口扒开图片免费| 最近2019中文字幕免费看最新| 欧洲亚洲国产清在高| 黄桃AV无码免费一区二区三区| 亚洲成aⅴ人片久青草影院| 亚洲中文字幕久久精品蜜桃| 全部免费毛片免费播放| 亚洲AV成人片无码网站| 亚洲线精品一区二区三区影音先锋 | 亚洲精品国产美女久久久| 日韩午夜理论免费TV影院| 亚洲欧美乱色情图片|