阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop 2.6.0 HA高可用集群配置详解(三)

282次阅读
没有评论

共计 1844 个字符,预计需要花费 5 分钟才能阅读完成。

Hadoop 集群的启动
集群启动步骤
// 启动 zookeeper 集群(分别在 slave1、slave2 和 slave3 执行)$ zkServer.shstart

// 启动 HDFS(在 master1 执行)$ start-dfs.sh

备注:此命令分别在 master1/master2 节点启动了 NameNode 和 ZKFC,分别在 slave1/slave2/slave3 节点启动了 DataNode 和 JournalNode,如下图所示。

Hadoop 2.6.0 HA 高可用集群配置详解(三)

// 启动 YARN(在 master2 执行)$ start-yarn.sh

备注:此命令在 master2 节点启动了 ResourceManager,分别在 slave1/slave2/slave3 节点启动了 NodeManager。

Hadoop 2.6.0 HA 高可用集群配置详解(三)

// 启动 YARN 的另一个 ResourceManager(在 master1 执行,用于容灾)$ yarn-daemon.sh start resourcemanager

// 启动 YARN 的安全代理(在 master2 执行)$ yarn-daemon.sh start proxyserver

备注:proxyserver 充当防火墙的角色,可以提高访问集群的安全性

// 启动 YARN 的历史任务服务(在 master1 执行)$ mr-jobhistory-daemon.sh starthistoryserver

备注:yarn-daemon.sh start historyserver 已被弃用;CDH 版本似乎有个问题,即 mapred-site.xml 配置的 mapreduce.jobhistory.address 和 mapreduce.jobhistory.webapp.address 参数似乎不起作用,实际对应的端口号是 10200 和 8188,而且部需要配置就可以在任意节点上开启历史任务服务。
集群启动截图

hadoop-master1 开启了 NameNode、ResourceManager、HistoryServer 和 ZKFC,如下图所示:
Hadoop 2.6.0 HA 高可用集群配置详解(三)
hadoop-master2 开启了 NameNode、ResourceManager、ProxyServer 和 ZKFC,如下图所示:
Hadoop 2.6.0 HA 高可用集群配置详解(三)

hadoop-slave1、hadoop-slave2 和 hadoop-slave3 分别开启了 DataNode、JournalNode、NodeManager 和 ZooKeeper,如下图所示:

Hadoop 2.6.0 HA 高可用集群配置详解(三)

Hadoop 2.6.0 HA 高可用集群配置详解(三)

Hadoop 2.6.0 HA 高可用集群配置详解(三)

Web UI

下图为 http://hadoop-master1:50070,可看到 NameNode 为 active 状态:

Hadoop 2.6.0 HA 高可用集群配置详解(三)

下图为 http://hadoop-master2:50070,可看到 NameNode 为 standby 状态:

Hadoop 2.6.0 HA 高可用集群配置详解(三)

HDFS 还有一个隐藏的 UI 页面 http://hadoop-master1:50070/dfshealth.jsp 比较好用:

Hadoop 2.6.0 HA 高可用集群配置详解(三)

下图为 http://hadoop-master2:8088,可看到 ResourceManager 为 active 状态:

Hadoop 2.6.0 HA 高可用集群配置详解(三)

下图为 http://hadoop-master1:8088,可看到 ResourceManager 为 standby 状态,它会自动跳转到 http://hadoop-master2:8088:

Hadoop 2.6.0 HA 高可用集群配置详解(三)

下图为 http://hadoop-master1:19888,可查看历史任务信息:

Hadoop 2.6.0 HA 高可用集群配置详解(三)

功能测试
// 向 HDFS 上传数据

$ hadoopfs -put webcount.txt /input

// 查看 HDFS 上的数据

$ hadoopfs -ls /input

$ hadoopfs -cat /input/webcount.txt

Hadoop 2.6.0 HA 高可用集群配置详解(三)

Hadoop 2.6.0 HA 高可用集群配置详解(三)

// 向 YARN 提交 MapReduce 任务,该任务用于分析网站日志文件 webcount.txt 统计每小时的点击次数

$ hadoopjar mr-webcount-0.0.1-SNAPSHOT.jar com.mr.demo.WebCountDriver/input/webcount.txt /output/webcount 1 1

Hadoop 2.6.0 HA 高可用集群配置详解(三)

// 在 HDFS 查看结果

$ hadoopfs -ls /output/webcount

$ hadoopfs -cat /output/webcount/part-r-00000

Hadoop 2.6.0 HA 高可用集群配置详解(三)

// 通过 Web UI 查看任务信息和历史任务信息

Hadoop 2.6.0 HA 高可用集群配置详解(三)

Hadoop 2.6.0 HA 高可用集群配置详解(三)


  • Hadoop 2.6.0 HA 高可用集群配置详解(一)
  • Hadoop 2.6.0 HA 高可用集群配置详解(二)
  • Hadoop 2.6.0 HA 高可用集群配置详解(三)

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年,有高配

腾讯云新客低至 82 元 / 年,老客户 99 元 / 年

代金券:在阿里云专用满减优惠券

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2024-07-24发表,共计1844字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19348
评论数
4
阅读量
7799458
文章搜索
热门文章
开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南 大家好,我是星哥。之前介绍了腾讯云的 Code...
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板 1Panel:小白轻松构建 Web 服务与面板加固指南 哈喽,我是星哥,经常有人问我不...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛 NAS-12:开源笔记的进化之路,效率玩家的新选择 前言 如何高效管理知识与笔记,已经成为技术...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地 大家好,我是星哥,今天教大家在飞牛 NA...
星哥带你玩飞牛NAS-5:飞牛NAS中的Docker功能介绍

星哥带你玩飞牛NAS-5:飞牛NAS中的Docker功能介绍

星哥带你玩飞牛 NAS-5:飞牛 NAS 中的 Docker 功能介绍 大家好,我是星哥,今天给大家带来如何在...
自己手撸一个AI智能体—跟创业大佬对话

自己手撸一个AI智能体—跟创业大佬对话

自己手撸一个 AI 智能体 — 跟创业大佬对话 前言 智能体(Agent)已经成为创业者和技术人绕...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
安装并使用谷歌AI编程工具Antigravity(亲测有效)

安装并使用谷歌AI编程工具Antigravity(亲测有效)

  安装并使用谷歌 AI 编程工具 Antigravity(亲测有效) 引言 Antigravity...
星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛 NAS 硬件 02:某鱼 6 张左右就可拿下 5 盘位的飞牛圣体 NAS 前言 大家好,我是星...
多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞...
星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛 NAS-12:开源笔记的进化之路,效率玩家的新选择 前言 如何高效管理知识与笔记,已经成为技术...
星哥带你玩飞牛NAS-7:手把手教你免费内网穿透-Cloudflare tunnel

星哥带你玩飞牛NAS-7:手把手教你免费内网穿透-Cloudflare tunnel

星哥带你玩飞牛 NAS-7:手把手教你免费内网穿透 -Cloudflare tunnel 前言 大家好,我是星...