阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop管理命令

473次阅读
没有评论

共计 1947 个字符,预计需要花费 5 分钟才能阅读完成。

dfsadmin 是一个多任务的工具,我们可以使用它来获取 HDFS 的状态信息,以及在 HDFS 上执行的一系列管理操作。

调用方式

例如:Hadoop dfsadmin -report

dfsadmin 命令详解

-report:查看文件系统的基本信息和统计信息。

-safeadmin enter | leave | get | wait:安全模式命令。安全模式是 NameNode 的一种状态,在这种状态下,NameNode 不接受对名字空间的更改(只读);不复制或删除块。NameNode 在启动时自动进入安全模式,当配置块的最小百分数满足最小副本数的条件时,会自动离开安全模式。enter 是进入,leave 是离开。

-refreshNodes:重新读取 hosts 和 exclude 文件,使新的节点或需要退出集群的节点能够被 NameNode 重新识别。这个命令在新增节点或注销节点时用到。

-finalizeUpgrade:终结 HDFS 的升级操作。DataNode 删除前一个版本的工作目录,之后 NameNode 也这样做。

-upgradeProgress status | details | force:请求当前系统的升级状态 | 升级状态的细节 | 强制升级操作

-metasave filename:  保存 NameNode 的主要数据结构到 hadoop.log.dir 属性指定的目录下的 <filename> 文件中。

-setQuota <quota><dirname>……<dirname>:为每个目录 <dirname> 设定配额 <quota>。目录配额是一个长整形整数,强制设定目录树下的名字个数。

-clrQuota <dirname>……<dirname>: 为每个目录 <dirname> 清除配额设定。

-help : 这个命令就不多说了。

fsck 工具来检验 HDFS 中的文件是否正常可用。这个工具可以检测文件块是否在 DataNode 中丢失,是否低于或高于文件副本。

调用方式:

例如:Hadoop fsck /user/admin/In/hello.txt -files -blocks -racks  (如果不加选项,则执行所有的指令)

命令详细:

-files: 显示文件的文件名称、大小、块数量及是否可用;

-blocks: 显示每个块在文件中的信息,一个块用一行显示;

-racks: 展示了每个块所处的机架位置及 DataNode 的位置;

可能出现的输出:

Over-replicated blocks:一些文件块副本数超出了它所属文件的限定

Under-replicated blocks : 文件块数未达到所属文件要求的副本数量

Misreplicated blocks:指出不满足块副本存储位置策略的块

Corrupt blocks : 所有的块副本全部出现问题

Missing replicas : 集群不存在副本的文件块

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

dfsadmin 是一个多任务的工具,我们可以使用它来获取 HDFS 的状态信息,以及在 HDFS 上执行的一系列管理操作。

调用方式

例如:Hadoop dfsadmin -report

dfsadmin 命令详解

-report:查看文件系统的基本信息和统计信息。

-safeadmin enter | leave | get | wait:安全模式命令。安全模式是 NameNode 的一种状态,在这种状态下,NameNode 不接受对名字空间的更改(只读);不复制或删除块。NameNode 在启动时自动进入安全模式,当配置块的最小百分数满足最小副本数的条件时,会自动离开安全模式。enter 是进入,leave 是离开。

-refreshNodes:重新读取 hosts 和 exclude 文件,使新的节点或需要退出集群的节点能够被 NameNode 重新识别。这个命令在新增节点或注销节点时用到。

-finalizeUpgrade:终结 HDFS 的升级操作。DataNode 删除前一个版本的工作目录,之后 NameNode 也这样做。

-upgradeProgress status | details | force:请求当前系统的升级状态 | 升级状态的细节 | 强制升级操作

-metasave filename:  保存 NameNode 的主要数据结构到 hadoop.log.dir 属性指定的目录下的 <filename> 文件中。

-setQuota <quota><dirname>……<dirname>:为每个目录 <dirname> 设定配额 <quota>。目录配额是一个长整形整数,强制设定目录树下的名字个数。

-clrQuota <dirname>……<dirname>: 为每个目录 <dirname> 清除配额设定。

-help : 这个命令就不多说了。

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计1947字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19350
评论数
4
阅读量
7962998
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸 前言 作为天天跟架构图、拓扑图死磕的...
仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

还在忍受动辄数百兆的“全家桶”监控软件?后台偷占资源、界面杂乱冗余,想查个 CPU 温度都要层层点选? 今天给...
12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...
星哥带你玩飞牛NAS-8:有了NAS你可以干什么?软件汇总篇

星哥带你玩飞牛NAS-8:有了NAS你可以干什么?软件汇总篇

星哥带你玩飞牛 NAS-8:有了 NAS 你可以干什么?软件汇总篇 前言 哈喽各位玩友!我是是星哥,不少朋友私...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击 PHP-FPM(FastCGl Process M...
星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛 NAS 硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话? 前言 在选择 NAS 用预...
星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定! 前言 作为 NAS 玩家,你是否总被这些...
星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛 NAS-14:解锁公网自由!Lucky 功能工具安装使用保姆级教程 作为 NAS 玩家,咱们最...
每年0.99刀,拿下你的第一个顶级域名,详细注册使用

每年0.99刀,拿下你的第一个顶级域名,详细注册使用

每年 0.99 刀,拿下你的第一个顶级域名,详细注册使用 前言 作为长期折腾云服务、域名建站的老玩家,星哥一直...