Hadoop学习：HDFS的运行原理

共计 4032 个字符，预计需要花费 11 分钟才能阅读完成。

HDFS（Hadoop Distributed File System）Hadoop 分布式文件系统。是根据 google 发表的论文翻版的。论文为 GFS（Google File System）Google 文件系统。

HDFS 有很多特点：

    ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存 3 份。

    ② 运行在廉价的机器上。（商用机）

    ③ 适合大数据的处理。多大？多小？HDFS 默认会将文件分割成 block，64M 为 1 个 block。然后将 block 按键值对存储在 HDFS 上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。

如上图所示，HDFS 也是按照 Master 和 Slave 的结构。分 NameNode、SecondaryNameNode、DataNode 这几个角色。

NameNode：是 Master 节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理 HDFS 的名称空间；

SecondaryNameNode：是一个小弟，分担大哥 namenode 的工作量；是 NameNode 的冷备份；合并 fsimage 和 fsedits 然后再发给 namenode。

DataNode：Slave节点，奴隶，干活的。负责存储 client 发来的数据块 block；执行数据块的读写操作。

热备份：b 是 a 的热备份，如果 a 坏掉。那么 b 马上运行代替 a 的工作。

冷备份：b 是 a 的冷备份，如果 a 坏掉。那么 b 不能马上代替 a 工作。但是 b 上存储 a 的一些信息，减少 a 坏掉之后的损失。

fsimage: 元数据镜像文件（文件系统的目录树。）

edits：元数据的操作日志（针对文件系统做的修改操作记录）

namenode 内存中存储的是 =fsimage+edits。

SecondaryNameNode 负责定时默认 1 小时，从 namenode 上，获取 fsimage 和 edits 来进行合并，然后再发送给 namenode。减少 namenode 的工作量。所以讲 secondarynamenode，单独放置到一台机器上，可以增大冗余，但是有可能会丢失一小时内处理的数据。

工作原理

写操作：

有一个文件 FileA，100M 大小。Client 将 FileA 写入到 HDFS 上。

HDFS 按默认配置。

HDFS 分布在三个机架上 Rack1，Rack2，Rack3。

a. Client 将 FileA 按 64M 分块。分成两块，block1 和 Block2;

b. Client 向 nameNode 发送写数据请求，如图 蓝色虚线①——>。

c. NameNode 节点，记录 block 信息。并返回可用的 DataNode，如 粉色虚线②———>。

    Block1: host2,host1,host3

    Block2: host7,host8,host4

    原理：

        NameNode 具有 RackAware 机架感知功能，这个可以配置。

        若 client 为 DataNode 节点，那存储 block 时，规则为：副本 1，同 client 的节点上；副本 2，不同机架节点上；副本 3，同第二个副本机架的另一个节点上；其他副本随机挑选。

        若 client 不为 DataNode 节点，那存储 block 时，规则为：副本 1，随机选择一个节点上；副本 2，不同副本 1，机架上；副本 3，同副本 2 相同的另一个节点上；其他副本随机挑选。

d. client 向 DataNode 发送 block1；发送过程是以流式写入。

    流式写入过程，

        1>将 64M 的 block1 按 64k 的 package 划分;

        2>然后将第一个 package 发送给 host2;

        3>host2 接收完后，将第一个 package 发送给 host1，同时 client 想 host2 发送第二个 package；

        4>host1 接收完第一个 package 后，发送给 host3，同时接收 host2 发来的第二个 package。

        5>以此类推，如图 红线实线 所示，直到将 block1 发送完毕。

        6>host2,host1,host3 向 NameNode，host2 向 Client 发送通知，说“消息发送完了”。如图 粉红颜色 实线所示。

        7>client 收到 host2 发来的消息后，向 namenode 发送消息，说我写完了。这样就真完成了。如图 黄色粗实线

        8>发送完 block1 后，再向 host7，host8，host4 发送 block2，如图 蓝色实线 所示。

        9>发送完 block2 后，host7,host8,host4 向 NameNode，host7 向 Client 发送通知，如图 浅绿色实线 所示。

        10>client 向 NameNode 发送消息，说我写完了，如图 黄色粗实线。。。这样就完毕了。

分析，通过写过程，我们可以了解到：

    ①写 1T 文件，我们需要 3T 的存储，3T 的网络流量贷款。

    ②在执行读或写的过程中，NameNode 和 DataNode 通过 HeartBeat 进行保存通信，确定 DataNode 活着。如果发现 DataNode 死掉了，就将死掉的 DataNode 上的数据，放到其他节点去。读取时，要读其他节点去。

    ③挂掉一个节点，没关系，还有其他节点可以备份；甚至，挂掉某一个机架，也没关系；其他机架上，也有备份。

读操作：

读操作就简单一些了，如图所示，client 要从 datanode 上，读取 FileA。而 FileA 由 block1 和 block2 组成。

那么，读操作流程为：

a. client 向 namenode 发送读请求。

b. namenode 查看 Metadata 信息，返回 fileA 的 block 的位置。

    block1:host2,host1,host3

    block2:host7,host8,host4

c. block 的位置是有先后顺序的，先读 block1，再读 block2。而且 block1 去 host2 上读取；然后 block2，去 host7 上读取；

上面例子中，client 位于机架外，那么如果 client 位于机架内某个 DataNode 上，例如,client 是 host6。那么读取的时候，遵循的规律是：

优选读取本机架上的数据。

HDFS 中常用到的命令

1、hadoop fs

hadoop fs -ls /
hadoop fs -lsr
hadoop fs -mkdir /user/hadoop
hadoop fs -put a.txt /user/hadoop/
hadoop fs -get /user/hadoop/a.txt /
hadoop fs -cp src dst
hadoop fs -mv src dst
hadoop fs -cat /user/hadoop/a.txt
hadoop fs -rm /user/hadoop/a.txt
hadoop fs -rmr /user/hadoop/a.txt
hadoop fs -text /user/hadoop/a.txt
hadoop fs -copyFromLocal localsrc dst 与 hadoop fs -put 功能类似。hadoop fs -moveFromLocal localsrc dst 将本地文件上传到 hdfs，同时删除本地文件。

2、hadoop fsadmin 

hadoop dfsadmin -report
hadoop dfsadmin -safemode enter | leave | get | wait
hadoop dfsadmin -setBalancerBandwidth 1000

3、hadoop fsck

4、start-balancer.sh

注意，看了 hdfs 的布局，以及作用，这里需要考虑几个问题：

1、既然 NameNode，存储小文件不太合适，那小文件如何处理？

2、NameNode 在内存中存储了 meta 等信息，那么内存的瓶颈如何解决？

3、Secondary 是 NameNode 的冷备份，那么 SecondaryNamenode 和 Namenode 不应该放到一台设备上，因为 Namenode 宕掉之后，SecondaryNamenode 一般也就死了，那讲 SecondaryNameNode 放到其他机器上，如何配置？

4、NameNode 宕机后，如何利用 secondaryNameNode 上面的备份的数据，恢复 Namenode？

5、设备宕机，那么，文件的 replication 备份数目，就会小于配置值，那么该怎么办？

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-09/134882.htm