阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

HDFS 安全模式的理解

105次阅读
没有评论

共计 1347 个字符,预计需要花费 4 分钟才能阅读完成。

安全模式是 Hadoop 的一种保护机制,用于保证集群中的数据块的安全性。

当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数(即参数 dfs.replication)是 5,那么在 datanode 上就应该有 5 个副本存在,假设只存在 3 个副本,那么比例就是 3 /5=0.6。在配置文件 hdfs-default.xml 中定义了一个最小的副本的副本率 0.999,如图

HDFS 安全模式的理解

我们的副本率 0.6 明显小于 0.99,因此系统会自动的复制副本到其他的 dataNode, 使得副本率不小于 0.999. 如果系统中有 8 个副本,超过我们设定的 5 个副本,那么系统也会删除多余的 3 个副本。

安全模式对我们有什么影响呢?

这时,不允许客户端进行任何修改文件的操作, 包括上传文件,删除文件,重命名,创建文件夹等操作。比如创建文件时,在源代码中就有对安全模式的判断,如图所示

HDFS 安全模式的理解

当我们在安全模式下进行修改文件操作时,会报如下错误,如图

HDFS 安全模式的理解

正常情况下,安全模式会运行一段时间自动退出的,只需要我们稍等一会就行了,到底等多长时间呢,我们可以通过 50070 端口查看安全模式退出的剩余时间,如图

HDFS 安全模式的理解

 

虽然不能进行修改文件的操作,但是可以浏览目录结构、查看文件内容的。

在命令行下是可以控制安全模式的进入、退出和查看的。

命令 hadoop fs -safemode get 查看安全模式状态

命令 hadoop fs -safemode enter  进入安全模式状态

命令 hadoop fs -safemode leave 离开安全模式

操作如图所示

HDFS 安全模式的理解

 安全模式是 hadoop 的一种保护机制,在启动时,最好是等待集群自动退出,然后进行文件操作。

Hadoop 如何修改 HDFS 文件存储块大小  http://www.linuxidc.com/Linux/2013-09/90100.htm

将本地文件拷到 HDFS 中 http://www.linuxidc.com/Linux/2013-05/83866.htm

从 HDFS 下载文件到本地 http://www.linuxidc.com/Linux/2012-11/74214.htm

将本地文件上传至 HDFS http://www.linuxidc.com/Linux/2012-11/74213.htm

HDFS 基本文件常用命令 http://www.linuxidc.com/Linux/2013-09/89658.htm

Hadoop 中 HDFS 和 MapReduce 节点基本简介 http://www.linuxidc.com/Linux/2013-09/89653.htm

《Hadoop 实战》中文版 + 英文文字版 + 源码【PDF】http://www.linuxidc.com/Linux/2012-10/71901.htm

Hadoop: The Definitive Guide【PDF 版】http://www.linuxidc.com/Linux/2012-01/51182.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2016-07/133538.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-21发表,共计1347字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中