@import url(http://m.tkk7.com/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);
Hadoop/Hbase是開(kāi)源版的google Bigtable, GFS, MapReduce的實(shí)現(xiàn)，隨著互聯(lián)網(wǎng)的發(fā)展，大數(shù)據(jù)的處理顯得越發(fā)重要，Hadoop/Hbase的用武之地也越發(fā)廣泛。為了更好的使用Hadoop/Hbase系統(tǒng)，需要有一套完善的監(jiān)控系統(tǒng)，來(lái)了解系統(tǒng)運(yùn)行的實(shí)時(shí)狀態(tài)，做到一切盡在掌握。Hadoop/Hbase有自己非常完善的metrics framework, 里面包種各種維度的系統(tǒng)指標(biāo)的統(tǒng)計(jì)，另外，這套metrics framework設(shè)計(jì)的也非常不錯(cuò)，用戶可以很方便地添加自定義的metrics。更為重要的一點(diǎn)是metrics的展示方式，目前它支持三種方式：一種是落地到本地文件，一種是report給Ganglia系統(tǒng)，另一種是通過(guò)JMX來(lái)展示。本文主要介紹怎么把Hadoop/Hbase的metrics report給Ganglia系統(tǒng)，通過(guò)瀏覽器來(lái)查看。
介紹后面的內(nèi)容之前有必要先簡(jiǎn)單介紹一下Ganglia系統(tǒng)。Ganglia是一個(gè)開(kāi)源的用于系統(tǒng)監(jiān)控的系統(tǒng)，它由三部分組成：gmond, gmetad, webfrontend, 三部分是這樣分工的：
gmond: 是一個(gè)守護(hù)進(jìn)程，運(yùn)行在每一個(gè)需要監(jiān)測(cè)的節(jié)點(diǎn)上，收集監(jiān)測(cè)統(tǒng)計(jì)，發(fā)送和接受在同一個(gè)組播或單播通道上的統(tǒng)計(jì)信息
gmetad: 是一個(gè)守護(hù)進(jìn)程，定期檢查gmond，從那里拉取數(shù)據(jù)，并將他們的指標(biāo)存儲(chǔ)在RRD存儲(chǔ)引擎中
webfrontend: 安裝在有g(shù)metad運(yùn)行的機(jī)器上，以便讀取RRD文件，用來(lái)做前臺(tái)展示
簡(jiǎn)單總結(jié)它們?nèi)叩母髯缘墓τ茫琯mond收集數(shù)據(jù)各個(gè)node上的metrics數(shù)據(jù)，gmetad匯總gmond收集到的數(shù)據(jù)，webfrontend在前臺(tái)展示gmetad匯總的數(shù)據(jù)。Ganglia缺省是對(duì)系統(tǒng)的一些metric進(jìn)行監(jiān)控，比如cpu/memory/net等。不過(guò)Hadoop/Hbase內(nèi)部做了對(duì)Ganglia的支持，只需要簡(jiǎn)單的改配置就可以將Hadoop/Hbase的metrics也接入到ganglia系統(tǒng)中進(jìn)行監(jiān)控。
接下來(lái)介紹如何把Hadoop/Hbase接入到Ganglia系統(tǒng)，這里的Hadoop/Hbase的版本號(hào)是0.94.2，早期的版本可能會(huì)有一些不同，請(qǐng)注意區(qū)別。Hbase本來(lái)是Hadoop下面的子項(xiàng)目，因此所用的metrics framework原本是同一套Hadoop metrics，但后面hadoop有了改進(jìn)版本的metrics framework:metrics2(metrics version 2), Hadoop下面的項(xiàng)目都已經(jīng)開(kāi)始使用metrics2, 而Hbase成了Apache的頂級(jí)子項(xiàng)目，和Hadoop成為平行的項(xiàng)目后，目前還沒(méi)跟進(jìn)metrics2，它用的還是原始的metrics.因此這里需要把Hadoop和Hbase的metrics分開(kāi)介紹。
Hadoop接入Ganglia:
1. Hadoop metrics2對(duì)應(yīng)的配置文件為：hadoop-metrics2.properties
2. hadoop metrics2中引用了source和sink的概念，source是用來(lái)收集數(shù)據(jù)的, sink是用來(lái)把source收集的數(shù)據(jù)consume的（包括落地文件，上報(bào)ganglia，JMX等）
3. hadoop metrics2配置支持Ganglia:
#*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink30
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
*.sink.ganglia.supportsparse=true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
#uncomment as your needs
namenode.sink.ganglia.servers=10.235.6.156:8649
#datanode.sink.ganglia.servers=10.235.6.156:8649
#jobtracker.sink.ganglia.servers=10.0.3.99:8649
#tasktracker.sink.ganglia.servers=10.0.3.99:8649
#maptask.sink.ganglia.servers=10.0.3.99:8649
#reducetask.sink.ganglia.servers=10.0.3.99:8649
這里需要注意的幾點(diǎn)：
(1) 因?yàn)镚anglia3.1與3.0不兼容，需要根據(jù)Ganglia的版本選擇使用GangliaSink30或者GangliaSink31
(2) period配置上報(bào)周期，單位是秒(s)
(3) namenode.sink.ganglia.servers指定Ganglia gmetad所在的host:port，用來(lái)向其上報(bào)數(shù)據(jù)
(4) 如果同一個(gè)物理機(jī)器上同時(shí)啟動(dòng)了多個(gè)hadoop進(jìn)程(namenode/datanode, etc)，根據(jù)需要把相應(yīng)的進(jìn)程的sink.ganglia.servers配置好即可
Hbase接入Ganglia:
1. Hbase所用的hadoop metrics對(duì)應(yīng)的配置文件是: hadoop-metrics.properties
2. hadoop metrics里核心是Context，寫(xiě)文件有寫(xiě)文件的TimeStampingFileContext, 向Ganglia上報(bào)有GangliaContext/GangliaContext31
3. hadoop metrics配置支持Ganglia:
# Configuration of the "hbase" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# hbase.class=org.apache.hadoop.metrics.ganglia.GangliaContext
hbase.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
hbase.period=10
hbase.servers=10.235.6.156:8649
這里需要注意幾點(diǎn)：
(1) 因?yàn)镚anglia3.1和3.0不兼容，所以如果是3.1以前的版本，需要用GangliaContext, 如果是3.1版的Ganglia，需要用GangliaContext31
(2) period的單位是秒(s)，通過(guò)period可以配置向Ganglia上報(bào)數(shù)據(jù)的周期
(3) servers指定的是Ganglia gmetad所在的host:port，把數(shù)據(jù)上報(bào)到指定的gmetad
(4) 對(duì)rpc和jvm相關(guān)的指標(biāo)都可以進(jìn)行類(lèi)似的配置