Hadoop监控系统

414次阅读

没有评论

共计 2824 个字符，预计需要花费 8 分钟才能阅读完成。

一、ELLA 监控需求

XMonitor 监控系统 (svn 目录 svn.d.xiaonei.com/Hadoop/Xmonitor)

1 监控展示

NameNode : gc_heap/load/performance/cluster/operation
JobTracker : gc_heap/rpc/job_status/queue_status
HMaster:
Monitor: big_job/dead DN,dead TT/clear Log/check Point

2 监控查询

DataNode disk：磁盘情况，block 情况
Region server load：负载，请求数量
User space 增量：集群二级目录的 HDFS 使用量

2 Auto Operation 自动化运维 (svn 目录 svn.d.xiaonei.com/hadoop/Operations)*

ping :
nnCheck
jtCheck
checkHDFS
kill_job
job_check

Ella 主要分为两部分，一部分负责信息的抓取, 一部分负责可视化展示

稍后上传到 github

手动创建一个数据库，然后使用 sql/sql.txt 中的 ddl 创建 Ella 所需要的表

信息抓取程序和可视化展示的 web 程序都依赖 conf/ella.properties 配置文件

#Prod
hbase.master=10.4.18.xx:60000
hbase.zookeeper.quorum=10.4.18.22,10.4.18.23,10.4.18.24,10.4.18.32,10.4.18.33,10.4.18.34
hbase.zookeeper.property.clientPort=2222

JMX_NN_Heap=java.lang:type=MemoryPool,name=*
JMX_NN_GC=java.lang:type=GarbageCollector,name=*
JMX_NN_Cluster=Hadoop:service=NameNode,name=FSNamesystemMetrics
JMX_NN_FSOpeation=Hadoop:service=NameNode,name=NameNode
JMX_NN_Rpc=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8020
JMX_NN_Interval=600000
JMX_NN_Port=50070

JMX_JT_Heap=java.lang:type=MemoryPool,name=*
JMX_JT_GC=java.lang:type=GarbageCollector,name=*
JMX_JT_Rpc=Hadoop:service=JobTracker,name=RpcDetailedActivityForPort8021
JMX_JT_Status=Hadoop:service=JobTracker,name=JobTrackerMetrics
JMX_JT_Interval=600000
JMX_JT_Port=50030

JMX_RS_Heap=java.lang:type=MemoryPool,name=*
JMX_RS_GC=java.lang:type=GarbageCollector,name=*
JMX_RS_Load_Performance=hadoop:service=RegionServer,name=RegionServerStatistics
JMX_RS_Rpc=hadoop:service=HBase,name=RPCStatistics-60020
JMX_RS_Interval=600000
JMX_RS_Port=60030

#mysql
mysql.db.driver=com.mysql.jdbc.Driver
mysql.db.url=jdbc:mysql://10.3.18.30:4410/xmonitor
mysql.db.user=ad
mysql.db.pwd=******

#interval
ella.hdfs.namenode.interval=600000
ella.hdfs.datanode.interval=14400000
ella.mr.jobtracker.interval=600000
ella.mr.job.interval=21600000
ella.hbase.master.interval=600000

1. 进入 minitor/ 目录，使用 mvn package 将负责信息抓取的代码打成一个 jar 包 (所有依赖的 jar 也会打入该 jar 包)

2.rs_host 表中添加所有 RegionServer 的 ip 地址

3. 主运行类为 com.xiaonei.xmonitor.Monitor, 运行该类

1. 进入 web/ 目录，使用 mvn package 将 web 打成一个 war 包

2. 将生成的 war 包部署到一个 web 服务器中

http://ella.d.linuxidc.com:8080/

用户名密码 admin/admin

tomcat 部署在：/opt/apache-tomcat-6.0.37/bin 目录 startup.sh

dbserver 部署在：/opt/hadoop_cluster_install/script/maintain/yz/XMonitor/DBServer/ 目录 setup-dbserver.sh

相关阅读 ：

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm