阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop学习:HDFS的运行原理

190次阅读
没有评论

共计 4032 个字符,预计需要花费 11 分钟才能阅读完成。

HDFS(Hadoop Distributed File System)Hadoop 分布式文件系统。是根据 google 发表的论文翻版的。论文为 GFS(Google File System)Google 文件系统。

HDFS 有很多特点

    ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存 3 份。

    ② 运行在廉价的机器上。(商用机)

    ③ 适合大数据的处理。多大?多小?HDFS 默认会将文件分割成 block,64M 为 1 个 block。然后将 block 按键值对存储在 HDFS 上,并将键值对的映射存到内存中。如果小文件太多,那内存的负担会很重。

Hadoop 学习:HDFS 的运行原理

如上图所示,HDFS 也是按照 Master 和 Slave 的结构。分 NameNode、SecondaryNameNode、DataNode 这几个角色。

NameNode:是 Master 节点,是大领导。管理数据块映射;处理客户端的读写请求;配置副本策略;管理 HDFS 的名称空间;

SecondaryNameNode:是一个小弟,分担大哥 namenode 的工作量;是 NameNode 的冷备份;合并 fsimage 和 fsedits 然后再发给 namenode。

DataNode:Slave节点,奴隶,干活的。负责存储 client 发来的数据块 block;执行数据块的读写操作。

热备份:b 是 a 的热备份,如果 a 坏掉。那么 b 马上运行代替 a 的工作。

冷备份:b 是 a 的冷备份,如果 a 坏掉。那么 b 不能马上代替 a 工作。但是 b 上存储 a 的一些信息,减少 a 坏掉之后的损失。

fsimage: 元数据镜像文件(文件系统的目录树。)

edits:元数据的操作日志(针对文件系统做的修改操作记录)

namenode 内存中存储的是 =fsimage+edits。

SecondaryNameNode 负责定时默认 1 小时,从 namenode 上,获取 fsimage 和 edits 来进行合并,然后再发送给 namenode。减少 namenode 的工作量。所以讲 secondarynamenode,单独放置到一台机器上,可以增大冗余,但是有可能会丢失一小时内处理的数据。

 


 

工作原理

写操作:

Hadoop 学习:HDFS 的运行原理

有一个文件 FileA,100M 大小。Client 将 FileA 写入到 HDFS 上。

HDFS 按默认配置。

HDFS 分布在三个机架上 Rack1,Rack2,Rack3。

a. Client 将 FileA 按 64M 分块。分成两块,block1 和 Block2;

b. Client 向 nameNode 发送写数据请求,如图 蓝色虚线——>

c. NameNode 节点,记录 block 信息。并返回可用的 DataNode,如 粉色虚线———>

    Block1: host2,host1,host3

    Block2: host7,host8,host4

    原理:

        NameNode 具有 RackAware 机架感知功能,这个可以配置。

        若 client 为 DataNode 节点,那存储 block 时,规则为:副本 1,同 client 的节点上;副本 2,不同机架节点上;副本 3,同第二个副本机架的另一个节点上;其他副本随机挑选。

        若 client 不为 DataNode 节点,那存储 block 时,规则为:副本 1,随机选择一个节点上;副本 2,不同副本 1,机架上;副本 3,同副本 2 相同的另一个节点上;其他副本随机挑选。

d. client 向 DataNode 发送 block1;发送过程是以流式写入。

    流式写入过程,

        1>将 64M 的 block1 按 64k 的 package 划分;

        2>然后将第一个 package 发送给 host2;

        3>host2 接收完后,将第一个 package 发送给 host1,同时 client 想 host2 发送第二个 package;

        4>host1 接收完第一个 package 后,发送给 host3,同时接收 host2 发来的第二个 package。

        5>以此类推,如图 红线实线 所示,直到将 block1 发送完毕。

        6>host2,host1,host3 向 NameNode,host2 向 Client 发送通知,说“消息发送完了”。如图 粉红颜色 实线所示。

        7>client 收到 host2 发来的消息后,向 namenode 发送消息,说我写完了。这样就真完成了。如图 黄色粗实线

        8>发送完 block1 后,再向 host7,host8,host4 发送 block2,如图 蓝色实线 所示。

        9>发送完 block2 后,host7,host8,host4 向 NameNode,host7 向 Client 发送通知,如图 浅绿色实线 所示。

        10>client 向 NameNode 发送消息,说我写完了,如图 黄色粗实线。。。这样就完毕了。

分析,通过写过程,我们可以了解到:

    写 1T 文件,我们需要 3T 的存储,3T 的网络流量贷款。

    在执行读或写的过程中,NameNode 和 DataNode 通过 HeartBeat 进行保存通信,确定 DataNode 活着。如果发现 DataNode 死掉了,就将死掉的 DataNode 上的数据,放到其他节点去。读取时,要读其他节点去。

    挂掉一个节点,没关系,还有其他节点可以备份;甚至,挂掉某一个机架,也没关系;其他机架上,也有备份。

 

读操作:

 Hadoop 学习:HDFS 的运行原理

读操作就简单一些了,如图所示,client 要从 datanode 上,读取 FileA。而 FileA 由 block1 和 block2 组成。

那么,读操作流程为:

a. client 向 namenode 发送读请求。

b. namenode 查看 Metadata 信息,返回 fileA 的 block 的位置。

    block1:host2,host1,host3

    block2:host7,host8,host4

c. block 的位置是有先后顺序的,先读 block1,再读 block2。而且 block1 去 host2 上读取;然后 block2,去 host7 上读取;

上面例子中,client 位于机架外,那么如果 client 位于机架内某个 DataNode 上,例如,client 是 host6。那么读取的时候,遵循的规律是:

优选读取本机架上的数据

HDFS 中常用到的命令

1、hadoop fs

hadoop fs -ls /
hadoop fs -lsr
hadoop fs -mkdir /user/hadoop
hadoop fs -put a.txt /user/hadoop/
hadoop fs -get /user/hadoop/a.txt /
hadoop fs -cp src dst
hadoop fs -mv src dst
hadoop fs -cat /user/hadoop/a.txt
hadoop fs -rm /user/hadoop/a.txt
hadoop fs -rmr /user/hadoop/a.txt
hadoop fs -text /user/hadoop/a.txt
hadoop fs -copyFromLocal localsrc dst 与 hadoop fs -put 功能类似。hadoop fs -moveFromLocal localsrc dst 将本地文件上传到 hdfs,同时删除本地文件。

2、hadoop fsadmin 

hadoop dfsadmin -report
hadoop dfsadmin -safemode enter | leave | get | wait
hadoop dfsadmin -setBalancerBandwidth 1000

3、hadoop fsck

4、start-balancer.sh

注意,看了 hdfs 的布局,以及作用,这里需要考虑几个问题:

1、既然 NameNode,存储小文件不太合适,那小文件如何处理?

2、NameNode 在内存中存储了 meta 等信息,那么内存的瓶颈如何解决?

3、Secondary 是 NameNode 的冷备份,那么 SecondaryNamenode 和 Namenode 不应该放到一台设备上,因为 Namenode 宕掉之后,SecondaryNamenode 一般也就死了,那讲 SecondaryNameNode 放到其他机器上,如何配置?

4、NameNode 宕机后,如何利用 secondaryNameNode 上面的备份的数据,恢复 Namenode?

5、设备宕机,那么,文件的 replication 备份数目,就会小于配置值,那么该怎么办?

下面关于 Hadoop 的文章您也可能喜欢,不妨看看:

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-09/134882.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计4032字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中