共计 2397 个字符，预计需要花费 6 分钟才能阅读完成。
ambari 部署各个组件
使用 ambari 进行部署时主要需要的组件包括：
- ambari-server: 主要部署的控制节点，负责控制 agent 进行部署。
- mysql: server 存储的数据库。也支持 postgresql 等数据库。
- ambari-agent: 主要执行部署的节点，根据控制节点，部署相应的服务的相应组件(compoment)。
- repo: 可以是公网的库，也可以是本地源。主要提供各个服务安装的 rpm 包等。ambari 主要使用的是 HDP(hortonworks data platform)的库。
- consul: 用于 DNS 解析。因为各个节点之间需要通过域名来相互进行访问。用 consul 来提供 DNS 解析服务，无需在每个节点上配置 hosts。对应的，各个容器也需要将 DNS(即 resolve.conf)指定为部署 consul 的 ip。
部署流程
每个组件都可以单独做成镜像。其中 repo 可以使用公网的库，也可以使用自己搭建的本地源。
HDP 的版本要和 ambari 的版本对应。对应关系可以查看 hdp 官网。
在实验中我使用的是 ambari 2.2.1-v20 的镜像和 HDP 2.4.3。
- agent 镜像地址
- server 镜像地址
- HDP
- HDP-UTILS
搭建 repo 库
主要是安装 httpd 并把 HDP 和 HDP-UTILS 的 tar 包解压到指定目录。这个不详述了。
创建 server 和 agent 容器
使用 docker-ambari 的 ambari-functions 来创建集群。
- 修改
ambari-functions中的 server 和 agent 镜像名称 source ambari-functions- 运行
amb-setttings，查看配置是否有问题 - 运行
amb-start-cluster 3。启动 server/agent/consul 容器。 - 此时 ambari-server 就正常启动了。
- 进入 ambari-server 容器，
ssh-keygen -t rsa -P ''生成密钥。 - 进入 ambari-agent，
yum install -y sudo，mkdir -p /var/log/ambari-agent,mkdir -p /var/lib/ambari-agent。将 ambari-server 的公钥拷贝到/root/.ssh/authorized_keys文件中。 - 从页面访问 ambari-server。即可按步骤添加多个 agent 到集群中，并安装对应的 service。
我在虚拟机上单机安装了 HDFS+YARN+MAPREDUCE+SPARK 服务。spark 可用。我再装 storm 时，虚拟机配置太差，撑不住，服务无法启动。
ambari 的好处是集成了监控等功能，组件很全面。
一些问题和待解决的点
- 集群编排问题。比如需要创建几个容器，每个容器应该是什么角色，安装什么组件，要事先规划好，再去创建。
- ambari-agent 容器挂掉重启后，默认不会重新加入回集群。需要配置适当的脚本，使得
- 官方 ambari-agent 没有 sudo，而且对应的 ambari-agent 的 log 目录等都没有创建。因此需要在官方镜像基础上再进行改造。
- 密钥的生成以及分发。
- ambari-agent 的规划问题。比如 agent 作为 datanode 时，需要使用 VOLUME 的外挂盘来对数据进行保存，而不是使用容器本身的存储(容器本身存储仅 10G，也不够用)。当然，这也可以做到容器的镜像中或者生成容器时动态挂载。
- 自动创建集群。这里主要的难点是使用 ambari 的 api 创建 cluster，添加 service 等。还需要深入研究下。参考 api。
- ambari-agent 镜像细化的问题。现在 ambari-agent 中实际是一个空的镜像，没有安装 service。那么我们是否可以根据 service 的不同，分别制作出 Hadoop-ambari-agent 镜像，spark-ambari-agent 镜像等，省去一部分服务安装的时间。
Hadoop 集群监控工具 Ambari 安装 http://www.linuxidc.com/Linux/2014-06/103208.htm
使用 Ambari 快速部署 Hadoop 大数据环境 http://www.linuxidc.com/Linux/2014-05/101531.htm
Ambari 服务配置以及 Alert 详解 http://www.linuxidc.com/Linux/2016-12/138149.htm
Ubuntu 14.04 上搭建 Ambari 清晰 PDF http://www.linuxidc.com/Linux/2016-01/126965.htm
CentOS 7 安装 Ambari2.4.0 图文详解 http://www.linuxidc.com/Linux/2016-12/138142.htm
Ambari + HDP 升级（Ambari 2.2.2 – 2.4.1 + HDP 2.4.2 – 2.5.0）http://www.linuxidc.com/Linux/2017-03/141303.htm
CentOS 6.5 下使用 Ambari 安装 Hadoop 集群 http://www.linuxidc.com/Linux/2014-12/110824.htm
Ambari 安装指南图文详解 http://www.linuxidc.com/Linux/2017-03/141295.htm
Ambari 2.4 安装教程及 Haodoop lzo 配置 http://www.linuxidc.com/Linux/2017-04/143153.htm
CentOS 6.5+Ambari+HDP 集群安装 http://www.linuxidc.com/Linux/2017-03/141297.htm
本文永久更新链接地址：http://www.linuxidc.com/Linux/2017-10/147487.htm
