阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ganglia监控Hadoop集群的安装部署

108次阅读
没有评论

共计 6520 个字符,预计需要花费 17 分钟才能阅读完成。

Ganglia 监控 Hadoop 集群的安装部署

一、安装环境 

  • Ubuntu server 12.04
  • 安装 gmetad 的机器:192.168.52.105
  • 安装 gmond 的机器:192.168.52.31,192.168.52.32,192.168.52.33,192.168.52.34,192.168.52.35,192.168.52.36,192.168.52.37,192.168.52.38,192.168.52.105
  • 浏览监控 web 页面的机器:192.168.52.105 

二、介绍 

Ganglia 监控套件包括三个主要部分:gmond,gmetad,和网页接口,通常被称为 ganglia- web。

  • gmond 是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通 道上的统计信息。
  • gme tad 也是一个守护进程,他定期检查 gmonds,从那里拉取数据,并将他们的指标存储在 RRD 存储引擎中。它 可以查询多个集群并聚合指标。RRD 也被用于生成用户界面的 web 前端。
  • ganglia- web 顾名思义,他应该安装在有 gmetad 运行的机器上,以便读取 RRD 文件。

一般来说一个集群的每台机器上都需要安装 gmond,只要负责展示 web 界面的机器安装了 gmetad 即可。

 

三、安装 

1.apt-get 方式安装

首先找一个结点当作 web 显示的结点,使用以下命令一键安装:
apt-get -y install ganglia-monitor ganglia-webfrontend
安装了 ganglia-webfrontend 就相当于同时安装了 gmetad、ganglia-web 和 rrdtool 等。
以上安装的版本都是 3.1.7,因为 ubuntu 官方源里面只支持到 ganglia-webfrontend-3.1.7,起中使用的 Ganglia Web Frontend 版本也是 3.1.7,版本太低,显示的界面很不友好,因此后面的文章我会介绍如何手动安装 Ganglia Web Frontend version 3.5.7(目前最高版本已经到 3.6)。如果为了方便,对于监控的界面要求不高的话,又图省事,可以用上述命令一键安装。
除了安装 ganglia-webfrontend 的主机,其他主机只需要安装 ganglia-monitor 即可。
 

2. 链接到 web 服务器

 
安装 ganglia-webfrontend 的时候就已经安装了 Apache Web Server,Ganglia-webfrontend 默认安装的位置是 /usr/share/ganglia-webfront,现在还不能通过浏览器访问 Ganglia 监控界面,需要执行以下命令将将 ganglia 的文件链接到 apache 的默认目录下。
ln -s /usr/share/ganglia-webfront /var/www/ganglia
 

四、配置 

1. 单播与组播

 
在进行 Ganglia 集群配置之前,首先要搞清楚单播和组播。
  • 单播:可以跨网段传播,只将信息发送给指定的机器。要配置成为单播你应该指定一个(或者多个)接受的主机。
  • 组播:在机器所处的网段中发送广播,发送给位于同一网段的所有机器。如果你正在使用组播传输,那么你没必要改变任何东西,因为这是 Ganglia 包安装默认的。唯一要做的就是把 gmetad 指向一个或几个运行着 gmo nd 的主机。没有必要列出每一个单个主机,因为 gmo nd 被设置为接受模式时会包含所有主机的列表以及整个集群的统计信息。

关于单播和组播更详细的介绍和相关配置请参照:Ganglia 快速开始向导(翻译自官方 wiki)  http://www.linuxidc.com/Linux/2013-11/92747.htm,或者直接查看官方 wiki。

 

2. 集群配置

 
我的 Ganglia 监控集群使用了单播模式。所有的配置都在 /etc/ganglia 目录下,在每个节点上都要配置 /etc/ganglia/gmond.conf.
红色字体为修改项。
 
 
globals {
daemonize = yes
setuid = yes
user = root /* 运行 Ganglia 的用户 */
debug_level = 0
max_udp_msg_len = 1472
mute = no
deaf = no
host_dmax = 120 /*secs */
cleanup_threshold = 300 /*secs */
gexec = no
send_metadata_interval = 15 /* 发送数据的时间间隔 */
}

cluster {
name = “hadoop_hf” /* 集群名称 */
owner = “root” /* 运行 Ganglia 的用户 */

latlong = “unspecified”
url = “unspecified”
}

udp_send_channel {
# mcast_join = 192.168.52.105 /* 注释掉组播 */
host = 192.168.52.105 /* 发送给安装 gmetad 的机器 */

port = 8649
ttl = 1
}

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2013-11/92746p2.htm

相关阅读

使用 Ganglia 监控 Hadoop 集群  http://www.linuxidc.com/Linux/2012-05/61349.htm 

在 VMware Workstation 的 Ubuntu 下安装和配置 Hadoop 与 Ganglia http://www.linuxidc.com/Linux/2013-06/85856.htm

Ganglia 安装部署之一建立 Grid http://www.linuxidc.com/Linux/2013-05/83673.htm

Ganglia 极其简单安装教程 yum 版 http://www.linuxidc.com/Linux/2012-12/76536.htm

Hadoop 2.0 安装向导 (0.23.x) http://www.linuxidc.com/Linux/2012-05/61463.htm

五、启动 Ganglia

 
 
使用 apt-get 方式安装的 Ganglia,可以直接用 service 方式启动。
  • service ganglia-monitor start(每台机器都需要启动)
  • service gmetad start(在安装了 ganglia-webfrontend 的机器上启动)
 
 

六、检验

 
 
登录浏览器查看:http://192.168.52.105/ganglia,如果 Hosts up 为 9 即表示安装成功。
若安装不成功,有几个很有用的调试命令:
  • 以调试模式启动 gmetadgmetad -d 9
  • 查看 gmetad 收集到的 XML 文件:telnet 192.168.52.105 8649
 
 

七、Ganglia-web 的安装

 
 
因为 3.1.7 版本的 Ganglia-web 实在太丑,因此我卸载了 ganglia-webfrontend,然后单独安装了 gmetad 后又安装了新版的 Ganglia-web-3.5.10.
官方安装说明:http://sourceforge.net/apps/trac/ganglia/wiki/ganglia-web-2#Installation
按照官方的说明,首先将 tar.gz 文件解压,然后进入解压后的目录,修改 Makefile 文件中的如下四个配置:
 
 
 
# Location where gweb should be installed to (excluding conf, dwoo dirs).
GDESTDIR = /var/www/ganglia


# Gweb statedir (where conf dir and Dwoo templates dir are stored)
GWEB_STATEDIR = /var/lib/ganglia


# Gmetad rootdir (parent location of rrd folder)
GMETAD_ROOTDIR = /var/lib/ganglia


APACHE_USER = root(切忌后面不要有空格)
 

重新启动 gmetad。登录 http://192.168.52.105/ganglia 后如果配置有问题可以根据网页中的报错修改。一般会出现文件读写权限错误,没有 rrd 目录就需要自己创建,conf 和 cache 目录的权限需要修改为 777。

 
监控界面截图:
 
Ganglia 监控 Hadoop 集群的安装部署 
 
 
 Ganglia 监控 Hadoop 集群的安装部署

八、监控 Hadoop 集群

修改 Hadoop 的配置文件 /etc/hadoop/hadoop-metrics.properties,根据文件中的说明,修改三处:
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
dfs.period=30
dfs.servers=192.168.52.105:8649
 
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.period=30
mapred.servers=192.168.52.105:8649
 
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
jvm.period=30
jvm.servers=192.168.52.105:8649
 
所有的 servers 都修改为安装为 gmetad 的机器 IP。
重启 Hadoop datanode:service hadoop-datanode restart
重启 gmond:/usr/sbin/gmond restart
 
更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

Ganglia 监控 Hadoop 集群的安装部署

一、安装环境 

  • Ubuntu server 12.04
  • 安装 gmetad 的机器:192.168.52.105
  • 安装 gmond 的机器:192.168.52.31,192.168.52.32,192.168.52.33,192.168.52.34,192.168.52.35,192.168.52.36,192.168.52.37,192.168.52.38,192.168.52.105
  • 浏览监控 web 页面的机器:192.168.52.105 

二、介绍 

Ganglia 监控套件包括三个主要部分:gmond,gmetad,和网页接口,通常被称为 ganglia- web。

  • gmond 是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通 道上的统计信息。
  • gme tad 也是一个守护进程,他定期检查 gmonds,从那里拉取数据,并将他们的指标存储在 RRD 存储引擎中。它 可以查询多个集群并聚合指标。RRD 也被用于生成用户界面的 web 前端。
  • ganglia- web 顾名思义,他应该安装在有 gmetad 运行的机器上,以便读取 RRD 文件。

一般来说一个集群的每台机器上都需要安装 gmond,只要负责展示 web 界面的机器安装了 gmetad 即可。

 

三、安装 

1.apt-get 方式安装

首先找一个结点当作 web 显示的结点,使用以下命令一键安装:
apt-get -y install ganglia-monitor ganglia-webfrontend
安装了 ganglia-webfrontend 就相当于同时安装了 gmetad、ganglia-web 和 rrdtool 等。
以上安装的版本都是 3.1.7,因为 ubuntu 官方源里面只支持到 ganglia-webfrontend-3.1.7,起中使用的 Ganglia Web Frontend 版本也是 3.1.7,版本太低,显示的界面很不友好,因此后面的文章我会介绍如何手动安装 Ganglia Web Frontend version 3.5.7(目前最高版本已经到 3.6)。如果为了方便,对于监控的界面要求不高的话,又图省事,可以用上述命令一键安装。
除了安装 ganglia-webfrontend 的主机,其他主机只需要安装 ganglia-monitor 即可。
 

2. 链接到 web 服务器

 
安装 ganglia-webfrontend 的时候就已经安装了 Apache Web Server,Ganglia-webfrontend 默认安装的位置是 /usr/share/ganglia-webfront,现在还不能通过浏览器访问 Ganglia 监控界面,需要执行以下命令将将 ganglia 的文件链接到 apache 的默认目录下。
ln -s /usr/share/ganglia-webfront /var/www/ganglia
 

四、配置 

1. 单播与组播

 
在进行 Ganglia 集群配置之前,首先要搞清楚单播和组播。
  • 单播:可以跨网段传播,只将信息发送给指定的机器。要配置成为单播你应该指定一个(或者多个)接受的主机。
  • 组播:在机器所处的网段中发送广播,发送给位于同一网段的所有机器。如果你正在使用组播传输,那么你没必要改变任何东西,因为这是 Ganglia 包安装默认的。唯一要做的就是把 gmetad 指向一个或几个运行着 gmo nd 的主机。没有必要列出每一个单个主机,因为 gmo nd 被设置为接受模式时会包含所有主机的列表以及整个集群的统计信息。

关于单播和组播更详细的介绍和相关配置请参照:Ganglia 快速开始向导(翻译自官方 wiki)  http://www.linuxidc.com/Linux/2013-11/92747.htm,或者直接查看官方 wiki。

 

2. 集群配置

 
我的 Ganglia 监控集群使用了单播模式。所有的配置都在 /etc/ganglia 目录下,在每个节点上都要配置 /etc/ganglia/gmond.conf.
红色字体为修改项。
 
 
globals {
daemonize = yes
setuid = yes
user = root /* 运行 Ganglia 的用户 */
debug_level = 0
max_udp_msg_len = 1472
mute = no
deaf = no
host_dmax = 120 /*secs */
cleanup_threshold = 300 /*secs */
gexec = no
send_metadata_interval = 15 /* 发送数据的时间间隔 */
}

cluster {
name = “hadoop_hf” /* 集群名称 */
owner = “root” /* 运行 Ganglia 的用户 */

latlong = “unspecified”
url = “unspecified”
}

udp_send_channel {
# mcast_join = 192.168.52.105 /* 注释掉组播 */
host = 192.168.52.105 /* 发送给安装 gmetad 的机器 */

port = 8649
ttl = 1
}

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2013-11/92746p2.htm

相关阅读

使用 Ganglia 监控 Hadoop 集群  http://www.linuxidc.com/Linux/2012-05/61349.htm 

在 VMware Workstation 的 Ubuntu 下安装和配置 Hadoop 与 Ganglia http://www.linuxidc.com/Linux/2013-06/85856.htm

Ganglia 安装部署之一建立 Grid http://www.linuxidc.com/Linux/2013-05/83673.htm

Ganglia 极其简单安装教程 yum 版 http://www.linuxidc.com/Linux/2012-12/76536.htm

Hadoop 2.0 安装向导 (0.23.x) http://www.linuxidc.com/Linux/2012-05/61463.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计6520字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中