<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    Change Dir

    先知cd——熱愛(ài)生活是一切藝術(shù)的開(kāi)始

    統(tǒng)計(jì)

    留言簿(18)

    積分與排名

    “牛”們的博客

    各個(gè)公司技術(shù)

    我的鏈接

    淘寶技術(shù)

    閱讀排行榜

    評(píng)論排行榜

    Hbase配置項(xiàng)粗解(2)

    hbase的配置接上篇

    hbase.client.write.buffer:htable客戶(hù)端寫(xiě)緩沖區(qū)大小,默認(rèn)是2097152BYTE,這個(gè)緩沖區(qū)就是為了寫(xiě)數(shù)據(jù)的臨時(shí)存放,設(shè)置大了,浪費(fèi)客戶(hù)端和服務(wù)端的存儲(chǔ),設(shè)置小了,如果寫(xiě)的數(shù)據(jù)多,太多的RPC又帶來(lái)網(wǎng)絡(luò)開(kāi)銷(xiāo),官方給的一個(gè)服務(wù)端存儲(chǔ)耗費(fèi)評(píng)估計(jì)算是:hbase.client.write.buffer*hbase.regionserver.handler.count,服務(wù)端的rs的處理handler個(gè)數(shù)也很關(guān)鍵;

    hbase.client.pause:pause時(shí)長(zhǎng),在hbase發(fā)生get或其他操作fail掉的時(shí)候進(jìn)行pause的時(shí)間長(zhǎng)度,默認(rèn)是100;

    hbase.client.retries.number:發(fā)生操作fail時(shí)的重試次數(shù),結(jié)合上一個(gè)指標(biāo)一起來(lái)控制總的重試時(shí)間,默認(rèn)是35;

    hbase.client.max.total.tasks:一個(gè)HTable實(shí)例可以提交給集群的最大并發(fā)任務(wù)數(shù),默認(rèn)是100;

    hbase.client.max.perserver.tasks:一個(gè)HTable實(shí)例給一臺(tái)regionserver提交的最大并發(fā)任務(wù)數(shù),默認(rèn)是5;

    hbase.client.max.perregion.tasks:客戶(hù)端連接一臺(tái)region的最大連接數(shù),換句話(huà)說(shuō),當(dāng)你有這么多個(gè)連接在region時(shí),新的操作不被發(fā)送直到有操作完成,默認(rèn)是1;

    hbase.client.scanner.caching:做scanner的next操作時(shí)(如果再本地client沒(méi)找到)緩存的數(shù)據(jù)行數(shù),這個(gè)值的設(shè)置也需要權(quán)衡,緩存的多則快,但吃?xún)?nèi)存,緩存的少則需要多的拉數(shù)據(jù), 需要注意的事項(xiàng)是如果兩次調(diào)用的時(shí)間差大于scanner的timeout,則不要設(shè)置該值,默認(rèn)是100;

    hbase.client.keyvalue.maxsize:一個(gè)KeyValue實(shí)例的最大大小,這是存儲(chǔ)文件中一個(gè)entry的容量上限,合理的設(shè)置這個(gè)值可以控制regionserver的split,split不會(huì)拆keyvalue,所以把keyvalue的大小設(shè)置為regionserver大小的一個(gè)比例分?jǐn)?shù)(可除)是個(gè)不錯(cuò)的選擇,默認(rèn)是10485760;

    hbase.client.scanner.timeout.period:結(jié)合剛才的caching做的一個(gè),scanner的超時(shí)時(shí)間,默認(rèn)是60000毫秒;

    hbase.client.localityCheck.threadPoolSize:做localityCheck的線程池大小,默認(rèn)是2;

    hbase.bulkload.retries.number:做bulk load的最大重試次數(shù),默認(rèn)是0,即代表不斷重試;

    hbase.balancer.period:Master運(yùn)行balancer的周期,默認(rèn)是300000毫秒;

    hbase.regions.slop:如果有regionserver的region數(shù)目超過(guò)average+(average*slop),則rebalance,默認(rèn)是0.2;

    hbase.server.thread.wakefrequency:服務(wù)線程的sleep時(shí)間,默認(rèn)10000毫秒,比如log roller;

    hbase.server.versionfile.writeattempts:退出前寫(xiě) version file的重試次數(shù),默認(rèn)3,每次嘗試的間隔由上一個(gè)參數(shù)控制;

    hbase.hregion.memstore.flush.size:Memstore寫(xiě)磁盤(pán)的flush閾值,超過(guò)這個(gè)大小就flush,默認(rèn)是134217728;

    hbase.hregion.preclose.flush.size:如果一個(gè)region的memstore的大小等于或超過(guò)這個(gè)參數(shù)的量,在關(guān)閉region時(shí)(放置關(guān)閉flag),要提前flush,然后region關(guān)閉下線,默認(rèn)大小是5242880;

    hbase.hregion.memstore.block.multiplier:如果memstore的大小滿(mǎn)足hbase.hregion.block.memstore * hbase.hregion.flush.size個(gè)byte,那么阻塞update,這個(gè)配置可以避免不必要的長(zhǎng)時(shí)間split或者compact,甚至是OOME,默認(rèn)是2;

    hbase.hregion.memstore.mslab.enabled:開(kāi)啟MemStore-Local Allocation Buffer,這個(gè)配置可以避免在高寫(xiě)入的情況下的堆內(nèi)存碎片,可以降低在大堆情況下的stop-the-world GC頻率,默認(rèn)是true;

    hbase.hregion.max.filesize:HStoreFile的最大尺寸,換句話(huà)說(shuō),當(dāng)一個(gè)region里的列族的任意一個(gè)HStoreFile超過(guò)這個(gè)大小,那么region進(jìn)行split,默認(rèn)是10737418240;

    hbase.hregion.majorcompaction:一個(gè)region的所有HStoreFile進(jìn)行major compact的時(shí)間周期,默認(rèn)是604800000 毫秒(7天);

    hbase.hregion.majorcompaction.jitter:major compaction的發(fā)生抖動(dòng)范圍,這么理解比較容易,就是說(shuō)上一個(gè)參數(shù)不是一個(gè)嚴(yán)格周期,會(huì)有個(gè)抖動(dòng),這個(gè)參數(shù)就是這個(gè)抖動(dòng)的比例,默認(rèn)是0.5;

    hbase.hstore.compactionThreshold:一個(gè)HStore存儲(chǔ)HStoreFile的個(gè)數(shù)閾值,超過(guò)這個(gè)閾值則所有的HStoreFile會(huì)被寫(xiě)到一個(gè)新的HStore,需要平衡取舍,默認(rèn)是3;

    hbase.hstore.blockingStoreFiles:一個(gè)HStore存儲(chǔ)HStoreFile阻塞update的閾值,超過(guò)這個(gè)閾值,HStore就進(jìn)行compaction,直到做完才允許update,默認(rèn)是10;

    hbase.hstore.blockingWaitTime:一個(gè)更強(qiáng)力的配置,配合上一個(gè)參數(shù),當(dāng)HStore阻塞update時(shí),超過(guò)這個(gè)時(shí)間限制,阻塞取消,就算compaction沒(méi)有完成,update也不會(huì)再被阻塞,默認(rèn)是90000毫秒;

    hbase.hstore.compaction.max:每個(gè)minor compaction的HStoreFile個(gè)數(shù)上限,默認(rèn)是10;

    hbase.hstore.compaction.kv.max:在flushing或者compacting時(shí)允許的最大keyvalue個(gè)數(shù),如果有大的KeyValue或者OOME的話(huà)則配置一個(gè)小的值,如果行數(shù)多且小則配置大值,默認(rèn)是10;

    hbase.storescanner.parallel.seek.threads:如果并行查找開(kāi)啟的線程池大小,默認(rèn)是10;

    hfile.block.cache.size:一個(gè)配置比例,允許最大堆的對(duì)應(yīng)比例的內(nèi)存作為HFile和HStoreFile的block cache,默認(rèn)是0.4,即40%,設(shè)置為0則disable這個(gè)比例,不推薦這么做;

    hfile.block.index.cacheonwrite:在index寫(xiě)入的時(shí)候允許put無(wú)根(non-root)的多級(jí)索引塊到block cache里,默認(rèn)是false;

    hfile.index.block.max.size:在多級(jí)索引的樹(shù)形結(jié)構(gòu)里,如果任何一層的block index達(dá)到這個(gè)配置大小,則block寫(xiě)出,同時(shí)替換上新的block,默認(rèn)是131072;

    hfile.format.version:新文件的HFile 格式版本,設(shè)置為1來(lái)測(cè)試向后兼容,默認(rèn)是2;

    hfile.block.bloom.cacheonwrite:對(duì)于組合布隆過(guò)濾器的內(nèi)聯(lián)block開(kāi)啟cache-on-write,默認(rèn)是false;

    io.storefile.bloom.block.size:一個(gè)聯(lián)合布隆過(guò)濾器的單一塊(chunk)的大小,這個(gè)值是一個(gè)逼近值,默認(rèn)是131072;

    hbase.rs.cacheblocksonwrite:當(dāng)一個(gè)HFile block完成時(shí)是否寫(xiě)入block cache,默認(rèn)是false;

    posted on 2014-01-03 18:34 changedi 閱讀(5211) 評(píng)論(3)  編輯  收藏 所屬分類(lèi): 數(shù)據(jù)

    評(píng)論

    # re: Hbase配置項(xiàng)粗解(2) 2014-01-03 20:53 私人訂制

    MARK,學(xué)習(xí)  回復(fù)  更多評(píng)論   

    # re: Hbase配置項(xiàng)粗解(2) 2014-01-04 12:13 鵬達(dá)鎖業(yè)

    支持博主 分享  回復(fù)  更多評(píng)論   

    # re: Hbase配置項(xiàng)粗解(2) 2014-01-05 14:29 鵬達(dá)鎖業(yè)

    鵬達(dá)鎖業(yè)  回復(fù)  更多評(píng)論   

    主站蜘蛛池模板: 久久久久亚洲AV无码网站| 我想看一级毛片免费的| 国产极品美女高潮抽搐免费网站| 亚洲精品国产福利在线观看| 嫩草成人永久免费观看| 亚洲人成人一区二区三区| 抽搐一进一出gif免费视频| 亚洲综合色视频在线观看| 一级女人18片毛片免费视频| 亚洲福利精品一区二区三区| 国产偷国产偷亚洲清高APP| 国产精品免费视频网站| 99在线视频免费观看| 亚洲国产精品无码专区| 一级毛片免费播放| 亚洲视频一区在线播放| 日本妇人成熟免费中文字幕| 天堂亚洲国产中文在线| 日韩免费视频播放| 国产成人综合亚洲绿色| 亚洲成a人在线看天堂无码| 精品一区二区三区无码免费视频| 亚洲AV无码一区二区三区在线| 成人毛片免费视频| 久久高潮一级毛片免费| 精品亚洲国产成AV人片传媒| 免费一级特黄特色大片在线| 最近免费字幕中文大全| 亚洲精品乱码久久久久蜜桃 | av永久免费网站在线观看| 亚洲s色大片在线观看| 可以免费看黄的网站| 一个人免费视频在线观看www | 国产成人+综合亚洲+天堂| 亚洲第一成年网站大全亚洲| 丝袜熟女国偷自产中文字幕亚洲| 免费网站看av片| 人体大胆做受免费视频| 久久亚洲AV无码精品色午夜| 国产亚洲情侣一区二区无| 最近免费2019中文字幕大全|