阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 7 安装Ambari2.4.0图文详解

474次阅读
没有评论

共计 5727 个字符,预计需要花费 15 分钟才能阅读完成。

安装须知:

  • 所有操作都要使用 root 用户,且系统不要有其他用户,ssh 的密钥也都是基于 root 用户的。否则会出现问题【Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 
  • hostname 都要使用 FQDN 格式,具体参照【配置】的第三步
  • 所有节点都安装 ntpd 服务 可参考 CentOS7 中使用 NTP 进行时间同步 http://www.linuxidc.com/Linux/2015-11/124911.htm
  • 切记,一定要从空机装起,尤其是以前搭过 Hadoop 环境的。切记 切记 切记 重要的事情说三遍!

 安装:

  1. 在 hortonworks 公共资源库 选定一个 ambari 版本并复制对应的 repo 地址(这个网页的内容加载很慢 要耐心等)。我选的是 2.4.2 地址是 http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo。
  2. 使用 wget 下载到节点,或者下载到物理机后上传到节点
    wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo  #文件会下载到当前目录
  3. 将 ambari.repo 文件拷贝到 /etc/yum.repos.d/ 目录下
    mv ambari.repo /etc/yum.repos.d/
  4. 获取该公共库的所有源文件列表
    yum clean all
    yum list|grep ambari
  5. 开始安装 server
    yum install ambari-server

     如果依赖项 postgresql 下载失败,需要手动下载安装;点这里 下载一个并安装就可以了

    wget ftp://mirror.switch.ch/pool/4/mirror/scientificlinux/7.2/x86_64/updates/security/postgresql-libs-9.2.15-1.el7_2.x86_64.rpm;
    rpm -ivh postgresql-libs-9.2.15-1.el7_2.x86_64.rpm
  6. 安装完成后,开始进行配置(全部用默认项 全程回车)。其中有一步 需要指定用户账号,要记住使用 root
    ambari-server setup
  7. 配置完成就可以启动了, 然后  就可以用 8080 端口访问管理页面了
    ambari-server start

配置集群:

安装成功后,就需要在 WEBUI 中创建集群了。点击【Launch Install Wizard】

 CentOS 7 安装 Ambari2.4.0 图文详解

1.GetStarted 指定集群名

CentOS 7 安装 Ambari2.4.0 图文详解

2.Select Version 选择 HDP 版本。HDP 版本对应的是一组生态组件的版本。根据自己需要的组件版本选择一个即可。我选择的是 HDP-2.5

下面的内容,使用公共资源库即可(推荐把资源下载到本地,然后使用本地库。Public Repo 的话需要很长时间)。【Skip ……】这个也不用选,进入下一步。

 CentOS 7 安装 Ambari2.4.0 图文详解

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

 3.Install Options 安装配置。这一步要谨慎

Target Hosts 要指定 Hosts 列表,这个 hostname 的格式必须是 Fully Qualified Domain Name (FQDN),简单点说,必须是一个域名的格式,如下图所示。/etc/hosts 当然也要与之对应

Host Registration Information  这里要选择使用私钥,并上传作为 Ambari 的主机的 私钥,当然也可以直接粘贴私钥的内容 注:id_dsa 是私钥,id_dsa.pub 是公钥。UserAccount 使用 root 端口不用改

 CentOS 7 安装 Ambari2.4.0 图文详解

4.Confirm Hosts

 从上一步过来后,在这一步会自动节点注册,并会显示进度及注册状况

可以点击①查看有哪些注册过程中缺少的内容

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

5.Choose Services 选择集群中需要安装的服务

有些服务是必须得,或者是被依赖的,如果没选的 点击下一步的时候会有提示。

CentOS 7 安装 Ambari2.4.0 图文详解

 

6.Assign Masters 给各节点组件分配资源,这个自己看着来就行

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

7.Assign Slaves and Clients  配置从节点和客户端。注意最后一列的 Client 指的是各种客户端,而不是某一种。

 CentOS 7 安装 Ambari2.4.0 图文详解

 

8.Customize Service 服务的自定义设置

这一步里大部分都可以使用默认项,少部分需要改动和设置,如 Hive 和 Oozie 需要指定数据库密码等

CentOS 7 安装 Ambari2.4.0 图文详解

红色数字标志表示这一项有需要手动设置的内容。

此外,如果 Hive 和 Oozie 使用 Mysql 的话,还需要先安装 MySql, 然后创建 hive,oozie 用户并赋予权限, 当然  还有 hive、oozie 数据库

具体操作可参考 CentOS7 minimal 下 MySQL 的卸载及安装 http://www.linuxidc.com/Linux/2016-12/137942.htm

还要在 ambari server 上执行

ambari-server setup --jdbc-db=mysql --jdbc-driver=[/path/to/mysql/mysql-connector-java.jar]

如果有不合适的参数,是无法进入下一步的,点击下一步的时候系统会提示需要改成的值。

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2016-12/138142p2.htm

9.Review 提供一个总结的安装列表,供用户审阅并提供打印功能

10.Install,Start and Test 开始安装和测试。这一步会花费较长时间,因为需要在线下载安装各种组件。

这一步可能会失败多次,不过不要慌  这基本是网络因素,不断重试就可以了

CentOS 7 安装 Ambari2.4.0 图文详解

 

11.Summary  安装情况总览

CentOS 7 安装 Ambari2.4.0 图文详解

我的 NameNode 没有启动成功,所以有警告,暂不知道是否有影响

 


 

收拾烂摊子

集群创建完了也还是有很多要手动修改的地方

CentOS 7 安装 Ambari2.4.0 图文详解

这些红彤彤的标志 都是启动失败的服务。

最开始 HDFS 那一项也是红的,找了一下午的错误,最终发现是因为之前的系统变量 $Hadoop_HOME 没有删掉 导致路径出现问题

明明已经 unset 过了  结果一重启机器又出现,并且还找不到在哪里设置的。没办法,只能设了一个软链接搞定。

 


 

又过了半天  终于弄好了  太不容易了

CentOS 7 安装 Ambari2.4.0 图文详解

看到上方的红数字消失,无比激动

 


 

NameNode HA

 默认安装的集群 NameNode 是单点的,我们自然要给升级为 HA

1. 如果启动了 HBase 的话,我们要先关闭 HBase 服务

2.HDFS->Service Actions -> Enable NameNode HA

CentOS 7 安装 Ambari2.4.0 图文详解

3.Get Started 指定 service ID

4.Select Hosts  选择作为备用 NameNode 以及作为 JournalNode 的 host

CentOS 7 安装 Ambari2.4.0 图文详解

5.Review 确认上一步的设定。配置不用改动,直接下一步

 CentOS 7 安装 Ambari2.4.0 图文详解

6.Create Checkpoint

 CentOS 7 安装 Ambari2.4.0 图文详解

这一步的操作需要手动完成(启用 Safe mode)。

安装须知:

  • 所有操作都要使用 root 用户,且系统不要有其他用户,ssh 的密钥也都是基于 root 用户的。否则会出现问题【Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 
  • hostname 都要使用 FQDN 格式,具体参照【配置】的第三步
  • 所有节点都安装 ntpd 服务 可参考 CentOS7 中使用 NTP 进行时间同步 http://www.linuxidc.com/Linux/2015-11/124911.htm
  • 切记,一定要从空机装起,尤其是以前搭过 Hadoop 环境的。切记 切记 切记 重要的事情说三遍!

 安装:

  1. 在 hortonworks 公共资源库 选定一个 ambari 版本并复制对应的 repo 地址(这个网页的内容加载很慢 要耐心等)。我选的是 2.4.2 地址是 http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo。
  2. 使用 wget 下载到节点,或者下载到物理机后上传到节点
    wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo  #文件会下载到当前目录
  3. 将 ambari.repo 文件拷贝到 /etc/yum.repos.d/ 目录下
    mv ambari.repo /etc/yum.repos.d/
  4. 获取该公共库的所有源文件列表
    yum clean all
    yum list|grep ambari
  5. 开始安装 server
    yum install ambari-server

     如果依赖项 postgresql 下载失败,需要手动下载安装;点这里 下载一个并安装就可以了

    wget ftp://mirror.switch.ch/pool/4/mirror/scientificlinux/7.2/x86_64/updates/security/postgresql-libs-9.2.15-1.el7_2.x86_64.rpm;
    rpm -ivh postgresql-libs-9.2.15-1.el7_2.x86_64.rpm
  6. 安装完成后,开始进行配置(全部用默认项 全程回车)。其中有一步 需要指定用户账号,要记住使用 root
    ambari-server setup
  7. 配置完成就可以启动了, 然后  就可以用 8080 端口访问管理页面了
    ambari-server start

配置集群:

安装成功后,就需要在 WEBUI 中创建集群了。点击【Launch Install Wizard】

 CentOS 7 安装 Ambari2.4.0 图文详解

1.GetStarted 指定集群名

CentOS 7 安装 Ambari2.4.0 图文详解

2.Select Version 选择 HDP 版本。HDP 版本对应的是一组生态组件的版本。根据自己需要的组件版本选择一个即可。我选择的是 HDP-2.5

下面的内容,使用公共资源库即可(推荐把资源下载到本地,然后使用本地库。Public Repo 的话需要很长时间)。【Skip ……】这个也不用选,进入下一步。

 CentOS 7 安装 Ambari2.4.0 图文详解

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

 3.Install Options 安装配置。这一步要谨慎

Target Hosts 要指定 Hosts 列表,这个 hostname 的格式必须是 Fully Qualified Domain Name (FQDN),简单点说,必须是一个域名的格式,如下图所示。/etc/hosts 当然也要与之对应

Host Registration Information  这里要选择使用私钥,并上传作为 Ambari 的主机的 私钥,当然也可以直接粘贴私钥的内容 注:id_dsa 是私钥,id_dsa.pub 是公钥。UserAccount 使用 root 端口不用改

 CentOS 7 安装 Ambari2.4.0 图文详解

4.Confirm Hosts

 从上一步过来后,在这一步会自动节点注册,并会显示进度及注册状况

可以点击①查看有哪些注册过程中缺少的内容

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

5.Choose Services 选择集群中需要安装的服务

有些服务是必须得,或者是被依赖的,如果没选的 点击下一步的时候会有提示。

CentOS 7 安装 Ambari2.4.0 图文详解

 

6.Assign Masters 给各节点组件分配资源,这个自己看着来就行

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

7.Assign Slaves and Clients  配置从节点和客户端。注意最后一列的 Client 指的是各种客户端,而不是某一种。

 CentOS 7 安装 Ambari2.4.0 图文详解

 

8.Customize Service 服务的自定义设置

这一步里大部分都可以使用默认项,少部分需要改动和设置,如 Hive 和 Oozie 需要指定数据库密码等

CentOS 7 安装 Ambari2.4.0 图文详解

红色数字标志表示这一项有需要手动设置的内容。

此外,如果 Hive 和 Oozie 使用 Mysql 的话,还需要先安装 MySql, 然后创建 hive,oozie 用户并赋予权限, 当然  还有 hive、oozie 数据库

具体操作可参考 CentOS7 minimal 下 MySQL 的卸载及安装 http://www.linuxidc.com/Linux/2016-12/137942.htm

还要在 ambari server 上执行

ambari-server setup --jdbc-db=mysql --jdbc-driver=[/path/to/mysql/mysql-connector-java.jar]

如果有不合适的参数,是无法进入下一步的,点击下一步的时候系统会提示需要改成的值。

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2016-12/138142p2.htm

如图所示,在 NameNode 所在 Host 先后执行两条命令

sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'

sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'

CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

执行成功之后 Next 会自动变得可点击

CentOS 7 安装 Ambari2.4.0 图文详解

7.Configure Components 开始重新配置各个组件服务

 CentOS 7 安装 Ambari2.4.0 图文详解

8.Manual Steps Required  又是一个需要手动的环节

CentOS 7 安装 Ambari2.4.0 图文详解

 9.Start Components 启动各组件

 CentOS 7 安装 Ambari2.4.0 图文详解

10.Manual Steps Required: Initialize NameNode HA Metadata  手动初始化 NameNode HA 的元数据

CentOS 7 安装 Ambari2.4.0 图文详解

在主 NameNode 上执行

sudo su hdfs -l -c 'hdfs zkfc -formatZK'

 

在备用 NameNode 上执行

sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'

 

 

11. Finalize HA Setup 终点站  能不能下班就看这个执行情况了。

CentOS 7 安装 Ambari2.4.0 图文详解

关于二次开发

ambari 的 GUI 代码存放在  /usr/lib/ambari-server/web 

不过是经过合并的,直接修改很不方便

参考:

  • Ambari——大数据平台的搭建利器

 本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-12/138142.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计5727字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19350
评论数
4
阅读量
7960608
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

  300 元就能买到的 ” 小钢炮 ”?惠普 7L 四盘位小主机解析 最近...
星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的 NAS 中! 大家对「数据安全感」的需求越来越高 ...
4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

  4 盘位、4K 输出、J3455、遥控,NAS 硬件入门性价比之王 开篇 在 NAS 市场中,威...
自己手撸一个AI智能体—跟创业大佬对话

自己手撸一个AI智能体—跟创业大佬对话

自己手撸一个 AI 智能体 — 跟创业大佬对话 前言 智能体(Agent)已经成为创业者和技术人绕...
CSDN,你是老太太喝粥——无齿下流!

CSDN,你是老太太喝粥——无齿下流!

CSDN,你是老太太喝粥——无齿下流! 大家好,我是星哥,今天才思枯竭,不写技术文章了!来吐槽一下 CSDN。...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号 AI 知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率 大家好,我是星哥,...
小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比

小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比

小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比 星哥玩云,带你从小白到上云高手。今天咱们就来聊聊——什...
4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

  4 盘位、4K 输出、J3455、遥控,NAS 硬件入门性价比之王 开篇 在 NAS 市场中,威...
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...
240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

  240 元左右!五盘位 NAS 主机,7 代 U 硬解 4K 稳如狗,拓展性碾压同价位 在 NA...