阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ambari-整体介绍

454次阅读
没有评论

共计 1778 个字符,预计需要花费 5 分钟才能阅读完成。

Ambari 目标

解决 Hadoop 生态系统部署

部署:hadoop 组件间有依赖,包括配置、版本、启动顺序、权限配置等。

部署过程跟踪。能够展示出部署过程中每个步骤的状态及相关信息。

多机部署问题,当集群规模增加后,机器出问题机率增加,在部署或更新中可能会出现机器故障

组件本身设计:hadoop 及其组件需要容忍机器的故障,同时需要防止不兼容版本组件给系统带来的影响

部署服务:需要能够容忍某些组件启动、更新失败

配置管理

可以将默认配置写入 stack 中(stack 后续介绍),在开启时 ambari 将 stack 中各个版本的 config 文件读入,在使用 blueprint 创建集群部署 hadoop 时,直接生成 command-json 文件。(blueprint 后续介绍)

服务状态展示、监控、报警

Ambari 主要概念

资源

ambari 将集群及集群中的服务、组件、机器都视为资源,资源的状态都会记录在 db 中

Hadoop 生态

Stack

发行版本的含义,如 HDP,可以有若干版本。

Service

服务,属于 stack,一个 stack 下可以有多个 service,service 也可以分多个版本,版本间可以有继承关系。例如 zookeeper 就是一项服务。

Component

组件,属于 service,一个 service 下可以有多个 component 组成。例如 HDFS 服务下的组件有 datanode,namenode 等。

角色

Component 可以指定部署时的角色,如 master、slave 等,也可以指定每种角色需要的 host 个数。例如 namenode 为单一 host 组件,可以部署在 master 机器上,datanode 可以部署在多台 host 上那么可以指定部署 datanode 的角色为 slave

host

host 为运行 ambari-agent 的一台机器,同时也是搭建集群内部的一台机器,可以为 host 设置对应的角色,例如 master,slave 等。

Ambari 整体流程

restAPI->ambari-server

单步创建

通过调用 ambari 提供的 restAPI 进行集群的单步创建

Add cluster:新建集群

Update cluster:更新集群配置

Add service for cluster:向集群添加服务

Add component for service:为每个服务添加对应组件

Add host for cluster:添加 host 资源

Add component on host:设置每个 host 上运行的组件

Install/Start/Stop service:安装 / 开启 / 关闭 集群的对应服务

Blueprint

调用一次 restAPI 即可进行集群创建、服务安装、组件部署、服务开始等集群操作,简化了单步创建的调用次数。

ambari-server->ambari-agent

ambari-server 端负责接收 rest 请求,再向 agent 端发送命令,发送命令的格式是 json,内部包涵部署脚本执行命令 (安装 / 开始 / 停止服务) 所需要的配置信息,这里所指的配置信息一般是手动部署集群需要配置的 xml 文件,例如 hadoop-site.xml 文件,在 blueprint 或单步创建里会有详细说明。

ambari-agent 执行脚本。ambari-agent 所执行的脚本存储在 ambari-server 机器上的 /var/lib/ambari-server/resources/stacks/HDP/2.0.6/ 下各个 service 路径下的 package 路径下的 scripts 内,脚本的编写语言为 python,脚本继承了名为 Script 的父类,该父类提供了一些函数,例如 Script.get_config(),该函数将 agent 接收来自 server 端的 command-json 文件的内容转化为字典格式方便脚本实现部署时对配置的使用。具体 anent 接收到的 command-json 保存在了运行 agent 机器下的 /var/lib/ambari-agent/data 路径下。

Hadoop 集群监控工具 Ambari 安装 http://www.linuxidc.com/Linux/2014-06/103208.htm

使用 Ambari 快速部署 Hadoop 大数据环境 http://www.linuxidc.com/Linux/2014-05/101531.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计1778字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7981261
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...
三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

  三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Andr...
支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare 也瘫了连监控都挂,根因藏在哪? 最近两天的互联网堪称“故障...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
如何免费使用强大的Nano Banana Pro?附赠邪修的用法

如何免费使用强大的Nano Banana Pro?附赠邪修的用法

如何免费使用强大的 Nano Banana Pro?附赠邪修的用法 前言 大家好,我是星哥,今天来介绍谷歌的 ...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定! 前言 作为 NAS 玩家,你是否总被这些...
4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

  4 盘位、4K 输出、J3455、遥控,NAS 硬件入门性价比之王 开篇 在 NAS 市场中,威...
星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...
小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比

小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比

小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比 星哥玩云,带你从小白到上云高手。今天咱们就来聊聊——什...
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...