REGIONS SERVER和TASK TRACKER SERVER不要在同一臺機器上,最好如果有MAPREDUCE JOB運行的話,應(yīng)該分開兩個CLUSTER,即兩群不同的服務(wù)器上,這樣MAPREDUCE 的線下負載不會影響到SCANER這些線上負載。
如果主要是做MAPREDUCE JOB的話,將REGIONS SERVER和TASK TRACKER SERVER放在一起是可以的。
原始集群模式
10個或以下節(jié)點,無MAPREDUCE JOB,主要用于低延遲的訪問。每個節(jié)點上的配置為:CPU4-6CORE,內(nèi)存24-32G,4個SATA硬盤。Hadoop NameNode, JobTracker, HBase Master, 和ZooKeeper全都在同一個NODE上。
小型集群模式(10-20臺服務(wù)器)
HBase Master放在單獨一臺機器上, 以便于使用較低配置的機器。ZooKeeper也放在單獨一臺機器上,NameNode和JobTracker放在同一臺機器上。
中型集群模式(20-50臺服務(wù)器)
由于無須再節(jié)省費用,可以將HBase Master和ZooKeeper放在同一臺機器上, ZooKeeper和HBase Master要三個實例。NameNode和JobTracker放在同一臺機器上。
大型集群模式(>50臺服務(wù)器)
和中型集群模式相似,但ZooKeeper和HBase Master要五個實例。NameNode和Second NameNode要有足夠大的內(nèi)存。
HADOOP MASTER節(jié)點
NameNode和Second NameNode服務(wù)器配置要求:(小型)8CORE CPU,16G內(nèi)存,1G網(wǎng)卡和SATA 硬盤,中弄再增加多16G內(nèi)存,大型則再增加多32G內(nèi)存。
HBASE MASTER節(jié)點
服務(wù)器配置要求:4CORE CPU,8-16G內(nèi)存,1G網(wǎng)卡和2個SATA 硬盤,一個用于操作系統(tǒng),另一個用于HBASE MASTER LOGS。
HADOOP DATA NODES和HBASE REGION SERVER節(jié)點
DATA NODE和REGION SERVER應(yīng)在同一臺服務(wù)器上,且不應(yīng)該和TASK TRACKER在一起。服務(wù)器配置要求:8-12CORE CPU,24-32G內(nèi)存,1G網(wǎng)卡和12*1TB SATA 硬盤,一個用于操作系統(tǒng),另一個用于HBASE MASTER LOGS。
ZOOPKEEPERS節(jié)點
服務(wù)器配置和HBASE MASTER相似,也可以與HBASE MASTER放在一起,但就要多增加一個硬盤單獨給ZOOPKEEPER使用。
-Xmx8g—設(shè)置HEAP的最大值到8G,不建議設(shè)到15 GB.
-Xms8g—設(shè)置HEAP的最小值到8GS.
-Xmn128m—設(shè)置新生代的值到128 MB,默認值太小。
-XX:+UseParNewGC—設(shè)置對于新生代的垃圾回收器類型,這種類型是會停止JAVA進程,然后再進行回收的,但由于新生代體積比較小,持續(xù)時間通常只有幾毫秒,因此可以接受。
-XX:+UseConcMarkSweepGC—設(shè)置老生代的垃圾回收類型,如果用新生代的那個會不合適,即會導(dǎo)致JAVA進程停止的時間太長,用這種不會停止JAVA進程,而是在JAVA進程運行的同時,并行的進行回收。
-XX:CMSInitiatingOccupancyFraction—設(shè)置CMS回收器運行的頻率。