阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

在 Docker 上建立多节点的 Hadoop 集群

439次阅读
没有评论

共计 2005 个字符,预计需要花费 6 分钟才能阅读完成。

在上篇文章中你已经看到了在你的 devbox 创建一个单点 Hadoop 集群是多么简单。

现在我们提高门槛,在 Docker 上创建一个多点 hadoop 集群。在开始前,确保你有最新的 Ambari 镜像:

docker pull sequenceiq/ambari:latest

一行命令

一旦你得到了最新的镜像,你就可以启动 Docker 容器。我们已经创建了几个 shell 函数来帮你输入 Docker 命令,从而避免输入像 docker run [options] image [command] 这样冗长的命令。

有了这些功能,创建 3 个节点的 hadoop 簇,只需要下面一行代码搞定:

curl -Lo .amb j.mp/docker-ambari && . .amb && amb-deploy-cluster

默认参数值都是可以根据需要更改的,像是 blueprint, 簇大小, 等等 … 在 shellj.mp/docker-ambari 功能函数的头文件有参数列表.

它是按照下面步骤来实现的:

  • 在 Docker (后台运行) 容器的守护进程上运行 sambari-server start (记得还有 anambari-agent start)

  • 运行 sn-1 守护进程容器并用 ambari-agent start 连接到服务器

  • 运行 AmbariShell 以及其终端控制台 (监控子进程)

    • AmbariShell 会把内置的多节点 blueprint 发送至 /api/v1/blueprintsREST API

    • AmbariShell 依照 blueprint 的设置自动分配宿主信息

    • 通过发送至 /api/v1/clustersREST API 的内容创建簇

自定义

如果你有自己定义好的脚本,可以放在 gist 然后运行 AmbariShell. 先启动 AmbariShell:

amb-start-cluster 2
amb-shell

AmbariShell 启动的前提:

  • Ambari REST API 将帮助你建立多个 hadoop 端.

host list
blueprint add –url https://gist.githubusercontent.com/lalyos/xxx/raw/custum-blueprint.json
cluster build –blueprint custom-blueprint
cluster assign –hostGroup host_group_1 –host amb0.mycorp.kom
cluster assign –hostGroup host_group_2 –host amb1.mycorp.kom
cluster assign –hostGroup host_group_2 –host amb1.mycorp.kom
cluster create

AmbariShell 的 hint 命令能帮助开发人员实现自动补全等功能.

自动补全包括:

  • 补全命令行 (例如,没有这个帮助下 cluster 命令是不可用的)

  • 添加需要的参数

  • 添加备选参数: – 后加上 <TAB>

  • 添加变参,像是参数名,宿主名等等 …

总结

基本上我们开始使用 Docker 的时候就已经使用多端的 hadoop 功能了 – 笔记本上运行 3 到 4 簇面临的极限问题比 Sandbox VM 少得多.

我们使用了 docker 的模式简化了 hadoop 的使用模式 – 可以在 LinkedIn 找到我们关于 Cloudbreak 的最新进展 – 开源云端的 Hadoop as a Service API 应用并构建在 docker 上.

希望本文能帮你简化你的开发流程 – 如有什么关于 docker 上使用 hadoop 问题,欢迎沟通.

开源项目 Docker,Red Hat 新的虚拟化选择 http://www.linuxidc.com/Linux/2013-10/91051.htm

dockerlite: 轻量级 Linux 虚拟化 http://www.linuxidc.com/Linux/2013-07/87093.htm

Docker 的搭建 Gitlab CI 全过程详解 http://www.linuxidc.com/Linux/2013-12/93537.htm

Docker 和一个正常的虚拟机有何区别? http://www.linuxidc.com/Linux/2013-12/93740.htm

在 Docker 中使用 MySQL http://www.linuxidc.com/Linux/2014-01/95354.htm

Docker 将改变所有事情 http://www.linuxidc.com/Linux/2013-12/93998.htm

Docker 1.0 正式版发布下载 http://www.linuxidc.com/Linux/2014-06/102941.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

Docker 的详细介绍 :请点这里
Docker 的下载地址 :请点这里

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2005字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19348
评论数
4
阅读量
7817666
文章搜索
热门文章
开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南 大家好,我是星哥。之前介绍了腾讯云的 Code...
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板 1Panel:小白轻松构建 Web 服务与面板加固指南 哈喽,我是星哥,经常有人问我不...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
升级自动部署更新SSL证书系统、申请godaddy的APIKEY

升级自动部署更新SSL证书系统、申请godaddy的APIKEY

升级自动部署更新 SSL 证书系统、申请 godaddy 的 APIKEY 公司之前花钱购买的 ssl 证书快...
150元打造低成本NAS小钢炮,捡一块3865U工控板

150元打造低成本NAS小钢炮,捡一块3865U工控板

150 元打造低成本 NAS 小钢炮,捡一块 3865U 工控板 一块二手的熊猫 B3 工控板 3865U,搭...
2025年11月28日-Cloudflare史诗级事故:一次配置失误,引爆全球宕机

2025年11月28日-Cloudflare史诗级事故:一次配置失误,引爆全球宕机

2025 年 11 月 28 日 -Cloudflare 史诗级事故: 一次配置失误,引爆全球宕机 前言 继今...
浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍 前言 在 AI 自动化快速发展的当下,浏览器早已不再只是...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

  星哥带你玩飞牛 NAS-16:不再错过公众号更新,飞牛 NAS 搭建 RSS 对于经常关注多个微...
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-5:飞牛NAS中的Docker功能介绍

星哥带你玩飞牛NAS-5:飞牛NAS中的Docker功能介绍

星哥带你玩飞牛 NAS-5:飞牛 NAS 中的 Docker 功能介绍 大家好,我是星哥,今天给大家带来如何在...
国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号 AI 知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率 大家好,我是星哥,...
告别Notion焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁”

告别Notion焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁”

  告别 Notion 焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁” 引言 在数字笔记工...