阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 7 安装Ambari2.4.0图文详解

155次阅读
没有评论

共计 5727 个字符,预计需要花费 15 分钟才能阅读完成。

安装须知:

  • 所有操作都要使用 root 用户,且系统不要有其他用户,ssh 的密钥也都是基于 root 用户的。否则会出现问题【Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 
  • hostname 都要使用 FQDN 格式,具体参照【配置】的第三步
  • 所有节点都安装 ntpd 服务 可参考 CentOS7 中使用 NTP 进行时间同步 http://www.linuxidc.com/Linux/2015-11/124911.htm
  • 切记,一定要从空机装起,尤其是以前搭过 Hadoop 环境的。切记 切记 切记 重要的事情说三遍!

 安装:

  1. 在 hortonworks 公共资源库 选定一个 ambari 版本并复制对应的 repo 地址(这个网页的内容加载很慢 要耐心等)。我选的是 2.4.2 地址是 http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo。
  2. 使用 wget 下载到节点,或者下载到物理机后上传到节点
    wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo  #文件会下载到当前目录
  3. 将 ambari.repo 文件拷贝到 /etc/yum.repos.d/ 目录下
    mv ambari.repo /etc/yum.repos.d/
  4. 获取该公共库的所有源文件列表
    yum clean all
    yum list|grep ambari
  5. 开始安装 server
    yum install ambari-server

     如果依赖项 postgresql 下载失败,需要手动下载安装;点这里 下载一个并安装就可以了

    wget ftp://mirror.switch.ch/pool/4/mirror/scientificlinux/7.2/x86_64/updates/security/postgresql-libs-9.2.15-1.el7_2.x86_64.rpm;
    rpm -ivh postgresql-libs-9.2.15-1.el7_2.x86_64.rpm
  6. 安装完成后,开始进行配置(全部用默认项 全程回车)。其中有一步 需要指定用户账号,要记住使用 root
    ambari-server setup
  7. 配置完成就可以启动了, 然后  就可以用 8080 端口访问管理页面了
    ambari-server start

配置集群:

安装成功后,就需要在 WEBUI 中创建集群了。点击【Launch Install Wizard】

 CentOS 7 安装 Ambari2.4.0 图文详解

1.GetStarted 指定集群名

CentOS 7 安装 Ambari2.4.0 图文详解

2.Select Version 选择 HDP 版本。HDP 版本对应的是一组生态组件的版本。根据自己需要的组件版本选择一个即可。我选择的是 HDP-2.5

下面的内容,使用公共资源库即可(推荐把资源下载到本地,然后使用本地库。Public Repo 的话需要很长时间)。【Skip ……】这个也不用选,进入下一步。

 CentOS 7 安装 Ambari2.4.0 图文详解

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

 3.Install Options 安装配置。这一步要谨慎

Target Hosts 要指定 Hosts 列表,这个 hostname 的格式必须是 Fully Qualified Domain Name (FQDN),简单点说,必须是一个域名的格式,如下图所示。/etc/hosts 当然也要与之对应

Host Registration Information  这里要选择使用私钥,并上传作为 Ambari 的主机的 私钥,当然也可以直接粘贴私钥的内容 注:id_dsa 是私钥,id_dsa.pub 是公钥。UserAccount 使用 root 端口不用改

 CentOS 7 安装 Ambari2.4.0 图文详解

4.Confirm Hosts

 从上一步过来后,在这一步会自动节点注册,并会显示进度及注册状况

可以点击①查看有哪些注册过程中缺少的内容

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

5.Choose Services 选择集群中需要安装的服务

有些服务是必须得,或者是被依赖的,如果没选的 点击下一步的时候会有提示。

CentOS 7 安装 Ambari2.4.0 图文详解

 

6.Assign Masters 给各节点组件分配资源,这个自己看着来就行

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

7.Assign Slaves and Clients  配置从节点和客户端。注意最后一列的 Client 指的是各种客户端,而不是某一种。

 CentOS 7 安装 Ambari2.4.0 图文详解

 

8.Customize Service 服务的自定义设置

这一步里大部分都可以使用默认项,少部分需要改动和设置,如 Hive 和 Oozie 需要指定数据库密码等

CentOS 7 安装 Ambari2.4.0 图文详解

红色数字标志表示这一项有需要手动设置的内容。

此外,如果 Hive 和 Oozie 使用 Mysql 的话,还需要先安装 MySql, 然后创建 hive,oozie 用户并赋予权限, 当然  还有 hive、oozie 数据库

具体操作可参考 CentOS7 minimal 下 MySQL 的卸载及安装 http://www.linuxidc.com/Linux/2016-12/137942.htm

还要在 ambari server 上执行

ambari-server setup --jdbc-db=mysql --jdbc-driver=[/path/to/mysql/mysql-connector-java.jar]

如果有不合适的参数,是无法进入下一步的,点击下一步的时候系统会提示需要改成的值。

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2016-12/138142p2.htm

9.Review 提供一个总结的安装列表,供用户审阅并提供打印功能

10.Install,Start and Test 开始安装和测试。这一步会花费较长时间,因为需要在线下载安装各种组件。

这一步可能会失败多次,不过不要慌  这基本是网络因素,不断重试就可以了

CentOS 7 安装 Ambari2.4.0 图文详解

 

11.Summary  安装情况总览

CentOS 7 安装 Ambari2.4.0 图文详解

我的 NameNode 没有启动成功,所以有警告,暂不知道是否有影响

 


 

收拾烂摊子

集群创建完了也还是有很多要手动修改的地方

CentOS 7 安装 Ambari2.4.0 图文详解

这些红彤彤的标志 都是启动失败的服务。

最开始 HDFS 那一项也是红的,找了一下午的错误,最终发现是因为之前的系统变量 $Hadoop_HOME 没有删掉 导致路径出现问题

明明已经 unset 过了  结果一重启机器又出现,并且还找不到在哪里设置的。没办法,只能设了一个软链接搞定。

 


 

又过了半天  终于弄好了  太不容易了

CentOS 7 安装 Ambari2.4.0 图文详解

看到上方的红数字消失,无比激动

 


 

NameNode HA

 默认安装的集群 NameNode 是单点的,我们自然要给升级为 HA

1. 如果启动了 HBase 的话,我们要先关闭 HBase 服务

2.HDFS->Service Actions -> Enable NameNode HA

CentOS 7 安装 Ambari2.4.0 图文详解

3.Get Started 指定 service ID

4.Select Hosts  选择作为备用 NameNode 以及作为 JournalNode 的 host

CentOS 7 安装 Ambari2.4.0 图文详解

5.Review 确认上一步的设定。配置不用改动,直接下一步

 CentOS 7 安装 Ambari2.4.0 图文详解

6.Create Checkpoint

 CentOS 7 安装 Ambari2.4.0 图文详解

这一步的操作需要手动完成(启用 Safe mode)。

安装须知:

  • 所有操作都要使用 root 用户,且系统不要有其他用户,ssh 的密钥也都是基于 root 用户的。否则会出现问题【Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 
  • hostname 都要使用 FQDN 格式,具体参照【配置】的第三步
  • 所有节点都安装 ntpd 服务 可参考 CentOS7 中使用 NTP 进行时间同步 http://www.linuxidc.com/Linux/2015-11/124911.htm
  • 切记,一定要从空机装起,尤其是以前搭过 Hadoop 环境的。切记 切记 切记 重要的事情说三遍!

 安装:

  1. 在 hortonworks 公共资源库 选定一个 ambari 版本并复制对应的 repo 地址(这个网页的内容加载很慢 要耐心等)。我选的是 2.4.2 地址是 http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo。
  2. 使用 wget 下载到节点,或者下载到物理机后上传到节点
    wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo  #文件会下载到当前目录
  3. 将 ambari.repo 文件拷贝到 /etc/yum.repos.d/ 目录下
    mv ambari.repo /etc/yum.repos.d/
  4. 获取该公共库的所有源文件列表
    yum clean all
    yum list|grep ambari
  5. 开始安装 server
    yum install ambari-server

     如果依赖项 postgresql 下载失败,需要手动下载安装;点这里 下载一个并安装就可以了

    wget ftp://mirror.switch.ch/pool/4/mirror/scientificlinux/7.2/x86_64/updates/security/postgresql-libs-9.2.15-1.el7_2.x86_64.rpm;
    rpm -ivh postgresql-libs-9.2.15-1.el7_2.x86_64.rpm
  6. 安装完成后,开始进行配置(全部用默认项 全程回车)。其中有一步 需要指定用户账号,要记住使用 root
    ambari-server setup
  7. 配置完成就可以启动了, 然后  就可以用 8080 端口访问管理页面了
    ambari-server start

配置集群:

安装成功后,就需要在 WEBUI 中创建集群了。点击【Launch Install Wizard】

 CentOS 7 安装 Ambari2.4.0 图文详解

1.GetStarted 指定集群名

CentOS 7 安装 Ambari2.4.0 图文详解

2.Select Version 选择 HDP 版本。HDP 版本对应的是一组生态组件的版本。根据自己需要的组件版本选择一个即可。我选择的是 HDP-2.5

下面的内容,使用公共资源库即可(推荐把资源下载到本地,然后使用本地库。Public Repo 的话需要很长时间)。【Skip ……】这个也不用选,进入下一步。

 CentOS 7 安装 Ambari2.4.0 图文详解

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

 3.Install Options 安装配置。这一步要谨慎

Target Hosts 要指定 Hosts 列表,这个 hostname 的格式必须是 Fully Qualified Domain Name (FQDN),简单点说,必须是一个域名的格式,如下图所示。/etc/hosts 当然也要与之对应

Host Registration Information  这里要选择使用私钥,并上传作为 Ambari 的主机的 私钥,当然也可以直接粘贴私钥的内容 注:id_dsa 是私钥,id_dsa.pub 是公钥。UserAccount 使用 root 端口不用改

 CentOS 7 安装 Ambari2.4.0 图文详解

4.Confirm Hosts

 从上一步过来后,在这一步会自动节点注册,并会显示进度及注册状况

可以点击①查看有哪些注册过程中缺少的内容

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

5.Choose Services 选择集群中需要安装的服务

有些服务是必须得,或者是被依赖的,如果没选的 点击下一步的时候会有提示。

CentOS 7 安装 Ambari2.4.0 图文详解

 

6.Assign Masters 给各节点组件分配资源,这个自己看着来就行

 CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

 

7.Assign Slaves and Clients  配置从节点和客户端。注意最后一列的 Client 指的是各种客户端,而不是某一种。

 CentOS 7 安装 Ambari2.4.0 图文详解

 

8.Customize Service 服务的自定义设置

这一步里大部分都可以使用默认项,少部分需要改动和设置,如 Hive 和 Oozie 需要指定数据库密码等

CentOS 7 安装 Ambari2.4.0 图文详解

红色数字标志表示这一项有需要手动设置的内容。

此外,如果 Hive 和 Oozie 使用 Mysql 的话,还需要先安装 MySql, 然后创建 hive,oozie 用户并赋予权限, 当然  还有 hive、oozie 数据库

具体操作可参考 CentOS7 minimal 下 MySQL 的卸载及安装 http://www.linuxidc.com/Linux/2016-12/137942.htm

还要在 ambari server 上执行

ambari-server setup --jdbc-db=mysql --jdbc-driver=[/path/to/mysql/mysql-connector-java.jar]

如果有不合适的参数,是无法进入下一步的,点击下一步的时候系统会提示需要改成的值。

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2016-12/138142p2.htm

如图所示,在 NameNode 所在 Host 先后执行两条命令

sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'

sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'

CentOS 7 安装 Ambari2.4.0 图文详解

CentOS 7 安装 Ambari2.4.0 图文详解

执行成功之后 Next 会自动变得可点击

CentOS 7 安装 Ambari2.4.0 图文详解

7.Configure Components 开始重新配置各个组件服务

 CentOS 7 安装 Ambari2.4.0 图文详解

8.Manual Steps Required  又是一个需要手动的环节

CentOS 7 安装 Ambari2.4.0 图文详解

 9.Start Components 启动各组件

 CentOS 7 安装 Ambari2.4.0 图文详解

10.Manual Steps Required: Initialize NameNode HA Metadata  手动初始化 NameNode HA 的元数据

CentOS 7 安装 Ambari2.4.0 图文详解

在主 NameNode 上执行

sudo su hdfs -l -c 'hdfs zkfc -formatZK'

 

在备用 NameNode 上执行

sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'

 

 

11. Finalize HA Setup 终点站  能不能下班就看这个执行情况了。

CentOS 7 安装 Ambari2.4.0 图文详解

关于二次开发

ambari 的 GUI 代码存放在  /usr/lib/ambari-server/web 

不过是经过合并的,直接修改很不方便

参考:

  • Ambari——大数据平台的搭建利器

 本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-12/138142.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计5727字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中