<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    Skynet

    ---------- ---------- 我的新 blog : liukaiyi.cublog.cn ---------- ----------

      BlogJava :: 首頁 :: 聯系 :: 聚合  :: 管理
      112 Posts :: 1 Stories :: 49 Comments :: 0 Trackbacks
    參考:
      http://hadoop.apache.org/common/docs/r0.15.2/streaming.html

    注意
      目前 streaming 對 linux pipe #也就是 cat |wc -l 這樣的管道 不支持,但不妨礙我們使用perl,python 行式命令!!
      原話是 :
      Can I use UNIX pipes? For example, will -mapper "cut -f1 | sed s/foo/bar/g" work?
        Currently this does not work and gives an "java.io.IOException: Broken pipe" error.
        This is probably a bug that needs to be investigated.
      但如果你是強烈的 linux shell pipe 發燒友 ! 參考下面
      $> perl -e 'open( my $fh, "grep -v null tt |sed -n 1,5p |");while ( <$fh> ) {print;} '
         #不過我沒測試通過 !!

    環境 :hadoop-0.18.3
    $> find . -type f -name "*streaming*.jar"
    ./contrib/streaming/hadoop-0.18.3-streaming.jar


    測試數據:
    -bash-3.00$ head tt 
    null    false    3702    208100
    6005100    false    70    13220
    6005127    false    24    4640
    6005160    false    25    4820
    6005161    false    20    3620
    6005164    false    14    1280
    6005165    false    37    7080
    6005168    false    104    20140
    6005169    false    35    6680
    6005240    false    169    32140
    ......


    運行:
    c1="  perl -ne  'if(/.*\t(.*)/){\$sum+=\$1;}END{print \"\$sum\";}'  "
    # 注意 這里 $ 要寫成 \$    " 寫成 \"
    echo $c1; # 打印輸出  perl -ne 'if(/.*"t(.*)/){$sum+=$1;}END{print $sum;}'
    hadoop jar hadoop-0.18.3-streaming.jar
      
    -input file:///data/hadoop/lky/jar/tt 
       -
    mapper   "/bin/cat" 
       -
    reducer "$c1" 
      
    -output file:///tmp/lky/streamingx8


    結果:
    cat /tmp/lky/streamingx8/*
    1166480

    本地運行輸出:
    perl -ne 'if(/.*"t(.*)/){$sum+=$1;}END{print $sum;}' < tt
    1166480

    結果正確!!!!


    命令自帶文檔:
    -bash-3.00$ hadoop jar hadoop-0.18.3-streaming.jar -info
    09/09/25 14:50:12 ERROR streaming.StreamJob: Missing required option -input
    Usage: $HADOOP_HOME
    /bin/hadoop [--config dir] jar \
              $HADOOP_HOME
    /hadoop-streaming.jar [options]
    Options:
      
    -input    <path>     DFS input file(s) for the Map step
      
    -output   <path>     DFS output directory for the Reduce step
      
    -mapper   <cmd|JavaClassName>      The streaming command to run
      
    -combiner <JavaClassName> Combiner has to be a Java class
      
    -reducer  <cmd|JavaClassName>      The streaming command to run
      
    -file     <file>     File/dir to be shipped in the Job jar file
      
    -dfs    <h:p>|local  Optional. Override DFS configuration
      
    -jt     <h:p>|local  Optional. Override JobTracker configuration
      
    -additionalconfspec specfile  Optional.
      
    -inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional.
      
    -outputformat TextOutputFormat(default)|JavaClassName  Optional.
      
    -partitioner JavaClassName  Optional.
      
    -numReduceTasks <num>  Optional.
      
    -inputreader <spec>  Optional.
      
    -jobconf  <n>=<v>    Optional. Add or override a JobConf property
      
    -cmdenv   <n>=<v>    Optional. Pass env.var to streaming commands
      
    -mapdebug <path>  Optional. To run this script when a map task fails 
      
    -reducedebug <path>  Optional. To run this script when a reduce task fails 
      
    -cacheFile fileNameURI
      
    -cacheArchive fileNameURI
      
    -verbose




    整理 m.tkk7.com/Good-Game
    posted on 2009-09-25 14:33 劉凱毅 閱讀(3377) 評論(0)  編輯  收藏 所屬分類: perl集群開發數據挖掘
    主站蜘蛛池模板: 亚洲男人的天堂网站| 青青草国产免费久久久下载| 国产精品高清免费网站| 无码国产精品一区二区免费模式| 亚洲免费在线视频播放| 四虎成人免费大片在线| 国产亚洲3p无码一区二区| 亚洲综合欧美色五月俺也去| 中文在线免费不卡视频| 四虎最新永久免费视频| 久久亚洲日韩看片无码| 美女黄频视频大全免费的| 久久成人无码国产免费播放| 成人五级毛片免费播放| 亚洲国产精品无码久久久秋霞1| 99久久久国产精品免费牛牛| 浮力影院亚洲国产第一页| 亚洲一区AV无码少妇电影| 国产精品二区三区免费播放心| 亚洲精品资源在线| 中文字幕乱码免费看电影| 免费a级毛片18以上观看精品| 亚洲性线免费观看视频成熟| 91视频精品全国免费观看| 亚洲爆乳无码专区| 中文字幕手机在线免费看电影| 久久精品九九亚洲精品天堂| 18级成人毛片免费观看| 亚洲一区二区三区电影| 久青草视频97国内免费影视| 亚洲精品国产高清不卡在线| 亚洲一区二区三区高清不卡 | 亚洲精品国产摄像头| 免费大片在线观看网站| 毛片在线播放免费观看| 亚洲日本一区二区三区在线| 一区二区三区免费视频播放器| 国产在线a不卡免费视频| 91成人免费观看在线观看| 久久精品国产亚洲αv忘忧草| 91高清免费国产自产|