阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop管理命令

100次阅读
没有评论

共计 1947 个字符,预计需要花费 5 分钟才能阅读完成。

dfsadmin 是一个多任务的工具,我们可以使用它来获取 HDFS 的状态信息,以及在 HDFS 上执行的一系列管理操作。

调用方式

例如:Hadoop dfsadmin -report

dfsadmin 命令详解

-report:查看文件系统的基本信息和统计信息。

-safeadmin enter | leave | get | wait:安全模式命令。安全模式是 NameNode 的一种状态,在这种状态下,NameNode 不接受对名字空间的更改(只读);不复制或删除块。NameNode 在启动时自动进入安全模式,当配置块的最小百分数满足最小副本数的条件时,会自动离开安全模式。enter 是进入,leave 是离开。

-refreshNodes:重新读取 hosts 和 exclude 文件,使新的节点或需要退出集群的节点能够被 NameNode 重新识别。这个命令在新增节点或注销节点时用到。

-finalizeUpgrade:终结 HDFS 的升级操作。DataNode 删除前一个版本的工作目录,之后 NameNode 也这样做。

-upgradeProgress status | details | force:请求当前系统的升级状态 | 升级状态的细节 | 强制升级操作

-metasave filename:  保存 NameNode 的主要数据结构到 hadoop.log.dir 属性指定的目录下的 <filename> 文件中。

-setQuota <quota><dirname>……<dirname>:为每个目录 <dirname> 设定配额 <quota>。目录配额是一个长整形整数,强制设定目录树下的名字个数。

-clrQuota <dirname>……<dirname>: 为每个目录 <dirname> 清除配额设定。

-help : 这个命令就不多说了。

fsck 工具来检验 HDFS 中的文件是否正常可用。这个工具可以检测文件块是否在 DataNode 中丢失,是否低于或高于文件副本。

调用方式:

例如:Hadoop fsck /user/admin/In/hello.txt -files -blocks -racks  (如果不加选项,则执行所有的指令)

命令详细:

-files: 显示文件的文件名称、大小、块数量及是否可用;

-blocks: 显示每个块在文件中的信息,一个块用一行显示;

-racks: 展示了每个块所处的机架位置及 DataNode 的位置;

可能出现的输出:

Over-replicated blocks:一些文件块副本数超出了它所属文件的限定

Under-replicated blocks : 文件块数未达到所属文件要求的副本数量

Misreplicated blocks:指出不满足块副本存储位置策略的块

Corrupt blocks : 所有的块副本全部出现问题

Missing replicas : 集群不存在副本的文件块

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

dfsadmin 是一个多任务的工具,我们可以使用它来获取 HDFS 的状态信息,以及在 HDFS 上执行的一系列管理操作。

调用方式

例如:Hadoop dfsadmin -report

dfsadmin 命令详解

-report:查看文件系统的基本信息和统计信息。

-safeadmin enter | leave | get | wait:安全模式命令。安全模式是 NameNode 的一种状态,在这种状态下,NameNode 不接受对名字空间的更改(只读);不复制或删除块。NameNode 在启动时自动进入安全模式,当配置块的最小百分数满足最小副本数的条件时,会自动离开安全模式。enter 是进入,leave 是离开。

-refreshNodes:重新读取 hosts 和 exclude 文件,使新的节点或需要退出集群的节点能够被 NameNode 重新识别。这个命令在新增节点或注销节点时用到。

-finalizeUpgrade:终结 HDFS 的升级操作。DataNode 删除前一个版本的工作目录,之后 NameNode 也这样做。

-upgradeProgress status | details | force:请求当前系统的升级状态 | 升级状态的细节 | 强制升级操作

-metasave filename:  保存 NameNode 的主要数据结构到 hadoop.log.dir 属性指定的目录下的 <filename> 文件中。

-setQuota <quota><dirname>……<dirname>:为每个目录 <dirname> 设定配额 <quota>。目录配额是一个长整形整数,强制设定目录树下的名字个数。

-clrQuota <dirname>……<dirname>: 为每个目录 <dirname> 清除配额设定。

-help : 这个命令就不多说了。

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计1947字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中