Posted on 2012-04-15 16:37
zljpp 閱讀(99)
評論(0) 編輯 收藏
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
Answer：
程序里面需要打開多個文件，進行分析，系統一般默認數量是1024，（用ulimit -a可以看到）對于正常使用是夠了，但是對于程序來講，就太少了。
修改辦法：
修改2個文件。
/etc/security/limits.conf
vi /etc/security/limits.conf
加上：
* soft nofile 102400
* hard nofile 409600
$cd /etc/pam.d/
$sudo vi login
添加 session required /lib/security/pam_limits.so
針對第一個問題我糾正下答案：
這是reduce預處理階段shuffle時獲取已完成的map的輸出失敗次數超過上限造成的，上限默認為5。引起此問題的方式可能會有很多種，比如網絡連接不正常，連接超時，帶寬較差以及端口阻塞等。。。通常框架內網絡情況較好是不會出現此錯誤的。
2：Too many fetch-failures
Answer:
出現這個問題主要是結點間的連通不夠全面。
1) 檢查 、/etc/hosts
要求本機ip 對應 服務器名
要求要包含所有的服務器ip + 服務器名
2) 檢查 .ssh/authorized_keys
要求包含所有服務器（包括其自身）的public key