<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    posts - 495,comments - 227,trackbacks - 0
    http://m.tkk7.com/paulwong/archive/2012/10/03/388977.html

    如果是在WINDOWS的ECLIPSE中,運行HBASE的MAPREDUCE,會出現異常,這是由于默認運行MAPREDUCE任務是在本地運行,而由于會建立文件賦權限是按照UNIX的方式進行,因此會報錯:

    java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "ls": CreateProcess error=2,


    解決辦法是將任務發到運程主機,通常是LINUX上運行,在hbase-site.xml中加入:

    <property>
       
    <name>mapred.job.tracker</name>
       
    <value>master:9001</value>
    </property>

    同時需把HDFS的權限機制關掉:

    <property>
       
    <name>dfs.permissions</name>
       
    <value>false</value>
    </property>


    另外由于是在遠程上執行任務,自定義的類文件,如Maper/Reducer等需打包成jar文件上傳,具體見方案:
    Hadoop作業提交分析(五)http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html


    研究了好幾天,終于搞清楚,CONFIGUARATION就是JOB的配置信息,遠程JOBTRACKER就是以此為參數構建JOB去執行,由于遠程主機并沒有自定義的MAPREDUCE類,需打成JAR包后,上傳到主機處,但無需每次都手動傳,可以代碼設置:

    conf.set("tmpjars", "d:/aaa.jar");


    另注意,如果在WINDOWS系統中,文件分隔號是“;”,生成的JAR包信息是以“;”間隔的,在遠程主機的LINUX上是無法辨別,需改為:

    System.setProperty("path.separator", ":");


    參考文章:
    http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html


    使用hadoop eclipse plugin提交Job并添加多個第三方jar(完美版)
    http://heipark.iteye.com/blog/1171923 
    posted on 2013-02-22 14:03 SIMONE 閱讀(908) 評論(0)  編輯  收藏 所屬分類: hbase
    主站蜘蛛池模板: 毛片免费全部免费观看| 337p日本欧洲亚洲大胆精品555588| 久久国产乱子伦精品免费一| 国产亚洲人成在线影院| 亚洲同性男gay网站在线观看| 国产亚洲精品自在久久| 免费A级毛片无码A∨男男| 大学生一级毛片免费看| 无码av免费一区二区三区| 一级看片免费视频| 自拍偷自拍亚洲精品偷一| 亚洲www在线观看| 亚洲美女一区二区三区| 亚洲老妈激情一区二区三区| 亚洲成a人片在线观看日本麻豆 | 免费一级毛片在线播放| 一个人看www在线高清免费看 | 久久久久亚洲精品天堂| 亚洲av永久无码精品古装片| 久久伊人亚洲AV无码网站| 亚洲成人高清在线| 国产大片91精品免费看3| 女人18毛片特级一级免费视频| 成人免费观看一区二区| 6080午夜一级毛片免费看 | 亚洲精品少妇30p| 亚洲无线观看国产精品| 亚洲免费视频一区二区三区| 国产在线播放免费| 国产精品自在自线免费观看| 四虎www免费人成| 性做久久久久免费观看| 国产精品视_精品国产免费| 免费a级毛片无码av| 亚洲 无码 在线 专区| 亚洲国产精品尤物yw在线| 亚洲国产成人久久综合区| 亚洲av区一区二区三| 国产成人精品日本亚洲专区| 色久悠悠婷婷综合在线亚洲| 精品久久香蕉国产线看观看亚洲|