阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 6.5下使用Ambari安装Hadoop集群

118次阅读
没有评论

共计 1558 个字符,预计需要花费 4 分钟才能阅读完成。

安装过程中一定要保持网络畅通!

上篇讲了 CentOS 6.5 下安装 Ambari 的过程(见 http://www.linuxidc.com/Linux/2014-12/110823.htm),本人将安装 Ambari 的主机名改为 ambari。

1. 首先打开浏览器,Linux 下一般使用 Firefox。输入网址 ambari:8080,这里 ambari 是 lz 的主机名,各位改成自己的即可。

进入登录界面,默认用户名和密码均为 admin,可以在系统里进行修改,安装 ambari 的过程中也有提示。

2. 进入系统后给集群取名,选择要安装的 ambari 版本和使用的系统平台。这里 lz 使用 1.3.3,CentOS6。有一个很重要的事要说明,

若选择 1.3.3 版本,则必须用 jdk6,如果前面安装 ambari 时选择了 jdk7,在 register 那里无法通过!若您已经选择了 jdk7,

返回重新运行一下安装过程,使用 jdk6 即可。

3. 选择安装的集群节点。(lz 安装过几次,但只有其中一次截图了),Target Hosts 选择 /etc/hosts 文件中的节点,使用名字而不是 ip 地址。

选择 SSH Private Key。ssh 文件夹是隐藏属性,所以查找时要注意显示隐藏文件夹。若自己在目标节点手动安装好了 ambari agent,

可以选择 manual registration,否则直接进入下一步。

CentOS 6.5 下使用 Ambari 安装 Hadoop 集群

4.

Ambari 自动在目标节点安装 Ambari agent,然后进行注册,这里可能比较慢,而且会出错,多试几次就好了,若一直出错,就要查看出错原因了。

CentOS 6.5 下使用 Ambari 安装 Hadoop 集群

5.

选择要安装的项目,建议不要一次全选(lz 的截图是第一次安装时,这里全选了。2.0 以下版本中的选项和途中稍有不同,其中 YARN 是 Hadoop2.0 中才有的,

但即便如此,还是不推荐选择 2.0 版本),但 HDFS,MapReduce,Nagios 和 Ganglia 必选,后两项用于监控。

CentOS 6.5 下使用 Ambari 安装 Hadoop 集群

6.

这里将上一步选择的项目进行节点分配。

CentOS 6.5 下使用 Ambari 安装 Hadoop 集群

 

7. 选择 slaves 和 clients,若您安装了多个 slave,将 client 安装在其中一个 slave 上即可。但 DataNode 和 NodeManager 一定要选(2.0 以下没有 NodeManager 选项,但有 TaskTraker,将它选上)。

CentOS 6.5 下使用 Ambari 安装 Hadoop 集群

8.

自定义服务。这里将有红标签的地方进行修改,主要是定义相关密码。完成之后一直 next 到最后的安装即可。

CentOS 6.5 下使用 Ambari 安装 Hadoop 集群

 

9.

系统完成安装,安装成功后进度条显示 33%,所有节点安装完成后,自动启动服务,success。但这里是最容易出错的地方,点击 message 可以查看日志,日志中有显示出错原因。

这里给出一点可能用到的建议。

(1)

出错后在各节点查看 yum 和 rpm 命令是否可用,lz 遇到几次 rpm 库损坏的情况,解决这一问题的步骤如下:

依次运行以下命令:

rm /var/lib/rpm/__db*   删除旧文件,共 4 个
rpm –rebuilddb    重建库文件
yum clean all   清除 yum 缓存

(2)

可能有些事务没有完成,运行以下命令:

yum-complete-transaction     完成事务

package-cleanup –dupes     删除可能存在的重复的包

package-cleanup –problems   删除可能存在的有问题的包

 

success 之后就可以看到成功的界面。在 hosts 选项的 Actions 下有 Add New Hosts 选项,可以添加新节点,过程与此基本相同。

CentOS 6.5 下使用 Ambari 安装 Hadoop 集群

Hadoop 集群监控工具 Ambari 安装 http://www.linuxidc.com/Linux/2014-06/103208.htm

使用 Ambari 快速部署 Hadoop 大数据环境 http://www.linuxidc.com/Linux/2014-05/101531.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计1558字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中