<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    tangtb

    Hadoop,SpringMVC,ExtJs,Struts2,Spring,SpringSecurity,Hibernate,Struts
    posts - 25, comments - 88, trackbacks - 0, articles - 0
      BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理

    Sqoop安裝配置及數據導入導出

    Posted on 2014-05-31 14:41 tangtb 閱讀(20285) 評論(3)  編輯  收藏 所屬分類: Hadoop

    前置條件

    已經成功安裝配置HadoopMysql數據庫服務器,如果將數據導入或從Hbase導出,還應該已經成功安裝配置Hbase。

    下載sqoopMysqlJDBC驅動

    sqoop-1.2.0-CDH3B4.tar.gz http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz

    mysql-connector-java-5.1.28

    安裝sqoop

    [hadoop@appserver ~]$ tar -zxvf sqoop-1.2.0-CDH3B4.tar.gz

    配置環境變量

    拷貝Hadoop核心包和MYSQL驅動包到sqooplib目錄

    [hadoop@appserver ~]$ cp hadoop-1.1.2/hadoop-core-1.1.2.jar sqoop-1.2.0-CDH3B4/lib/

    [hadoop@appserver ~]$ cp  mysql-connector-java-5.1.28-bin.jar sqoop-1.2.0-CDH3B4/lib/

     

    配置sqoop-1.2.0-CDH3B4/bin/configure-sqoop文件

    注釋掉hbase和zookeeper檢查(除非準備使用HABASE等HADOOP組件)

    啟動hadoop集群

    啟動mysql

    創建sqoop用戶

     

    建立sqoop庫,test表,并構造測試數據

    測試sqoop連接

    [hadoop@appserver ~]$ sqoop list-databases --connect jdbc:mysql://10.120.10.11:3306/ --username sqoop --password sqoop

    列出mysql中所有數據庫的名稱

    mysql導入到hdfs

    sqoop ##sqoop命令

    import ##表示導入

    --connect jdbc:mysql://ip:3306/sqoop ##告訴jdbc,連接mysql的url

    --username sqoop ##連接mysql的用戶名

    --password sqoop ##連接mysql的密碼

    --table test ##從mysql導出的表名稱

    --fields-terminated-by '\t' ##指定輸出文件中的行的字段分隔符

    -m 1 ##復制過程使用1個map作業

     

    [hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --fields-terminated-by ':' -m 1

    Hadoop中查看導入結果

    hdfs導出到mysql

    sqoop

    export ##表示數據從hive復制到mysql中

    --connect jdbc:mysql://ip:3306/sqoop

    --username sqoop

    --password sqoop

    --table test ##mysql中的表,即將被導入的表名稱

    --export-dir '/user/root/aa/part-m-00000' ##hive中被導出的文件

    --fields-terminated-by '\t' ##hive中被導出的文件字段的分隔符

    [hadoop@appserver ~]$ sqoop export --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --export-dir '/user/hadoop/test/part-m-00000' --fields-terminated-by ':' -m 1

    Mysql中查看導出結果

    Mysql導入到Hbase

    參數說明:

    Ø hbase_tablename指定要導成hbase的表名

    Ø key_col_name指定mysql數據庫表中哪一列作為hbase新表的rowkey

    Ø col_fam_name是除rowkey之外的所有列的列族名

    [hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --hbase-create-table --hbase-table mysql_sqoop_test --column-family info --hbase-row-key id -m 1

    Hbase中查看結果


    評論

    # re: Sqoop安裝配置及數據導入導出  回復  更多評論   

    2014-06-04 17:02 by 艾青
    不錯的東東,謝謝樓主分享!

    # re: Sqoop安裝配置及數據導入導出[未登錄]  回復  更多評論   

    2014-07-07 09:50 by 小豪
    記得以前在http://www.lq580.com/有相關的介紹,不過現在怎么變成了一個叫綠求網的東東呢,不明白?

    # re: Sqoop安裝配置及數據導入導出  回復  更多評論   

    2016-06-22 20:54 by Hadoop
    不錯 就是有點淺
    主站蜘蛛池模板: 亚洲第一区香蕉_国产a| 亚洲国产精品人人做人人爽| 亚洲视频在线一区| 国产精品偷伦视频免费观看了| 一本色道久久88综合亚洲精品高清 | 亚洲AV成人一区二区三区观看| 日韩欧美一区二区三区免费观看| 久久亚洲春色中文字幕久久久| 全亚洲最新黄色特级网站| 亚洲精品无码专区久久| 成人永久福利免费观看| 国产亚洲日韩在线a不卡| 日韩亚洲国产二区| 中文字幕在线免费看线人| 国产亚洲精品久久久久秋霞 | 亚洲伦理一区二区| 精品无码免费专区毛片| 精品久久亚洲中文无码| 国产在线观看免费完整版中文版 | 亚洲AV无码乱码国产麻豆穿越| 无码人妻久久一区二区三区免费| 亚洲国产天堂久久综合网站| 国产曰批免费视频播放免费s| 亚洲综合久久一本伊伊区| 日韩一区二区免费视频| 日亚毛片免费乱码不卡一区| 日韩va亚洲va欧洲va国产| 在免费jizzjizz在线播| 亚洲欧洲日产国码久在线| 亚洲高清视频一视频二视频三| 中文字幕无码免费久久9一区9| 无码乱人伦一区二区亚洲| 真人做A免费观看| 特级毛片全部免费播放a一级| 少妇人妻偷人精品免费视频| 亚洲成a人片在线观看中文!!! | 亚洲精品国产精品| 亚洲乱码精品久久久久..| 久久午夜免费视频| 国产vA免费精品高清在线观看| 亚洲天堂中文字幕|