<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    Change Dir

    先知cd——熱愛生活是一切藝術的開始

    統計

    留言簿(18)

    積分與排名

    “牛”們的博客

    各個公司技術

    我的鏈接

    淘寶技術

    閱讀排行榜

    評論排行榜

    Hive配置項的含義詳解(1)

    一個hive任務,如何才算是優化的任務,hadoop job config里哪些配置能影響hive的效率。看看hive的詳細配置我們可以略知一二。

    hive的配置:

    hive.ddl.output.format:hive的ddl語句的輸出格式,默認是text,純文本,還有json格式,這個是0.90以后才出的新配置;

    hive.exec.script.wrapper:hive調用腳本時的包裝器,默認是null,如果設置為python的話,那么在做腳本調用操作時語句會變為python <script command>,null的話就是直接執行<script command>;

    hive.exec.plan:hive執行計劃的文件路徑,默認是null,會在運行時自動設置,形如hdfs://xxxx/xxx/xx;

    hive.exec.scratchdir:hive用來存儲不同階段的map/reduce的執行計劃的目錄,同時也存儲中間輸出結果,默認是/tmp/<user.name>/hive,我們實際一般會按組區分,然后組內自建一個tmp目錄存儲;

    hive.exec.submitviachild:在非local模式下,決定hive是否要在獨立的jvm中執行map/reduce;默認是false,也就是說默認map/reduce的作業是在hive的jvm上去提交的;

    hive.exec.script.maxerrsize:當用戶調用transform或者map或者reduce執行腳本時,最大的序列化錯誤數,默認100000,一般也不用修改;

    hive.exec.compress.output:一個查詢的最后一個map/reduce任務輸出是否被壓縮的標志,默認為false,但是一般會開啟為true,好處的話,根據這篇文章,節省空間不說,在不考慮cpu壓力的時候會提高io;

    hive.exec.compress.intermediate:類似上個,在一個查詢的中間的map/reduce任務輸出是否要被壓縮,默認false,但一般也會手動開啟,這篇文章對比了這兩個配置,其中回復講到,The former affects compression between MapReduce stages in a Hive query. The latter affects compression between map and reduce phases during the shuffle. 如此而已;

    hive.jar.path:當使用獨立的jvm提交作業時,hive_cli.jar所在的位置,無默認值;

    hive.aux.jars.path:當用戶自定義了UDF或者SerDe,這些插件的jar都要放到這個目錄下,無默認值;

    hive.partition.pruning:在編譯器發現一個query語句中使用分區表然而未提供任何分區謂詞做查詢時,拋出一個錯誤從而保護分區表,默認是nonstrict;(待讀源碼后細化,網上資料極少)

    hive.map.aggr:map端聚合是否開啟,默認開啟;這篇文章給出了map端聚合的很詳細的描述;

    hive.join.emit.interval:在發出join結果之前對join最右操作緩存多少行的設定,默認1000;hive jira里有個對該值設置太小的bugfix;

    hive.map.aggr.hash.percentmemory:map端聚合時hash表所占用的內存比例,默認0.5,這個在map端聚合開啟后使用,參看hive.map.aggr里提到的文章;

    hive.default.fileformat:CREATE TABLE語句的默認文件格式,默認TextFile,其他可選的有SequenceFile、RCFile還有Orc;對于文件格式的說明對比,這里有篇對比可以參考,infoq上有篇文章講了hadoop的文件格式;

    hive.merge.mapfiles:在只有map的作業結束時合并小文件,默認開啟true;

    hive.merge.mapredfiles:在一個map/reduce作業結束后合并小文件,默認不開啟false;

    hive.merge.size.per.task:作業結束時合并文件的大小,默認256MB;

    hive.merge.smallfiles.avgsize:在作業輸出文件小于該值時,起一個額外的map/reduce作業將小文件合并為大文件,小文件的基本閾值,設置大點可以減少小文件個數,需要mapfiles和mapredfiles為true,默認值是16MB;

    posted on 2013-08-13 15:24 changedi 閱讀(3930) 評論(0)  編輯  收藏 所屬分類: 數據

    主站蜘蛛池模板: a级毛片100部免费观看| 一级**爱片免费视频| 亚洲综合一区二区| 亚洲国产中文在线视频| 亚洲精品无码专区久久| 在线看亚洲十八禁网站| 久久免费视频观看| 好男人看视频免费2019中文| 国产片免费福利片永久| 亚洲国产成人精品无码区在线观看| 亚洲av无码一区二区三区天堂古代| 麻豆一区二区三区蜜桃免费| 无码精品国产一区二区三区免费| 毛片基地免费观看| 亚洲人成伊人成综合网久久久| 国产成人精品日本亚洲专区6| 一级做性色a爰片久久毛片免费| 亚洲综合色成在线播放| 亚洲综合小说另类图片动图 | 亚洲高清日韩精品第一区| jizzjizz亚洲日本少妇| 91人成网站色www免费下载| 天堂亚洲免费视频| 亚洲国产成人精品久久| 国产精品久久久久久久久久免费 | 我的小后妈韩剧在线看免费高清版| 亚洲人成人网站在线观看| 亚洲综合丁香婷婷六月香| 免费高清小黄站在线观看| 亚洲麻豆精品果冻传媒| 成人在线免费观看| 亚洲午夜电影一区二区三区| 四虎免费在线观看| 国产伦精品一区二区免费| 国产人成免费视频| 亚洲综合无码一区二区痴汉| 亚洲片一区二区三区| 国产成人无码免费看视频软件| 亚洲精品不卡视频| 国产成人在线免费观看| 在线观看片免费人成视频无码|