Hadoop中HDFS工作原理

97次阅读

共计 6039 个字符，预计需要花费 16 分钟才能阅读完成。

Hadoop 其实并不是一个产品，而是一些独立模块的组合。主要有分布式文件系统 HDFS 和大型分布式数据处理库 MapReduce。由于目前主要用到 HDFS，所以这里看一下它的工作原理，以及相应的介绍下配置。

什么是 HDFS？Hadoop Distributed File System，字面意思，Hadoop 分布式文件系统，通俗的讲，就是可以将不同节点的设备用来存储。它分为两个部分：NameNode 和 DateNode，NameNode 相当于一个领导，它管理集群内的 DataNode，当客户发送请求过来后，NameNode 会根据情况指定存储到哪些 DataNode 上，而其本身自己并不存储真实的数据。那 NameNode 怎么知道集群内 DataNode 的信息呢？DataNode 发送心跳信息给 NameNode。

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

下面工作原理我就直接 copy 了。。

工作原理

写操作：

Hadoop 中 HDFS 工作原理

有一个文件 FileA，100M 大小。Client 将 FileA 写入到 HDFS 上。

HDFS 按默认配置。

HDFS 分布在三个机架上 Rack1，Rack2，Rack3。

a. Client 将 FileA 按 64M 分块。分成两块，block1 和 Block2;

b. Client 向 nameNode 发送写数据请求，如图蓝色虚线①——>。

c. NameNode 节点，记录 block 信息。并返回可用的 DataNode，如粉色虚线②———>。

Block1: host2,host1,host3

Block2: host7,host8,host4

原理：

NameNode 具有 RackAware 机架感知功能，这个可以配置。

若 client 为 DataNode 节点，那存储 block 时，规则为：副本 1，同 client 的节点上；副本 2，不同机架节点上；副本 3，同第二个副本机架的另一个节点上；其他副本随机挑选。

若 client 不为 DataNode 节点，那存储 block 时，规则为：副本 1，随机选择一个节点上；副本 2，不同副本 1，机架上；副本 3，同副本 2 相同的另一个节点上；其他副本随机挑选。

d. client 向 DataNode 发送 block1；发送过程是以流式写入。

流式写入过程，

1>将 64M 的 block1 按 64k 的 package 划分;

2>然后将第一个 package 发送给 host2;

3>host2 接收完后，将第一个 package 发送给 host1，同时 client 想 host2 发送第二个 package；

4>host1 接收完第一个 package 后，发送给 host3，同时接收 host2 发来的第二个 package。

5>以此类推，如图红线实线所示，直到将 block1 发送完毕。

6>host2,host1,host3 向 NameNode，host2 向 Client 发送通知，说“消息发送完了”。如图粉红颜色实线所示。

7>client 收到 host2 发来的消息后，向 namenode 发送消息，说我写完了。这样就真完成了。如图黄色粗实线

8>发送完 block1 后，再向 host7，host8，host4 发送 block2，如图蓝色实线所示。

9>发送完 block2 后，host7,host8,host4 向 NameNode，host7 向 Client 发送通知，如图浅绿色实线所示。

10>client 向 NameNode 发送消息，说我写完了，如图黄色粗实线。。。这样就完毕了。

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-06/103128p2.htm

分析，通过写过程，我们可以了解到：

①写 1T 文件，我们需要 3T 的存储，3T 的网络流量贷款。

②在执行读或写的过程中，NameNode 和 DataNode 通过 HeartBeat 进行保存通信，确定 DataNode 活着。如果发现 DataNode 死掉了，就将死掉的 DataNode 上的数据，放到其他节点去。读取时，要读其他节点去。

③挂掉一个节点，没关系，还有其他节点可以备份；甚至，挂掉某一个机架，也没关系；其他机架上，也有备份。

OK，复制到此结束，我们结合配置文件具体了解一下：

core-site.xml，核心配置文件

<name>fs.defaultFS</name>

<value>hdfs://10.10.129.188:7001</value>（注：这个属性值是 hdfs 的NameNode的节点地址和端口号，需要根据业务需求而变更）

<description>The name of the default file system. A URI whose

scheme and authority determine the FileSystem implementation. The

uri’s scheme determines the config property (fs.SCHEME.impl) naming

the FileSystem implementation class. The uri’s authority is used to

determine the host, port, etc. for a filesystem.</description>

</property>

<name>Hadoop.tmp.dir</name>

<value>/home/cdh/cdh/hadoop-2.0.0-cdh4.2.1/tmp</value>(注：这个属性值请根据实际情况修改，这里需要预先手动在 /home/cdh/cdh/hadoop-2.0.0-cdh4.2.1 路径下创建 tmp 文件夹。secondarynamenode的目录系统默认为 ${hadoop.tmp.dir}/dfs/namesecondary，如果没有配置hadoop.tmp.dir 参数，此时系统默认的临时目录为：/tmp/hadoop-cdh。而这个目录在每次重启后都会被干掉，必须重新执行 format 才行，否则会出错。)

<description>A base for other temporary directories.</description>

</property>

修改为：

<name>dfs.namenode.name.dir</name>

<value>file:/data/hadoop-2.0.0/workspace/hadoop_space/hadoop23/dfs/name</value>

（这个是配置 namenode 目录的地方）

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/data/hadoop-2.0.0/workspace/hadoop_space/hadoop23/dfs/data</value>

（这个是配置 datanode 目录的地方，也就是 datanode 存储文件的路径）

</property>

<name>dfs.replication</name>

（这个是配置备份因子）

</property>

<name>dfs.permission</name>

<value>false</value>

</property>

<name>dfs.namenode.secondary.http-address</name>

<value>10.10.129.186:50090</value>(注：配置 secondarynamenode 的IP和端口号)

<description>The secondary namenode http server address and port.</description>

</property>

</configuration>

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

Hadoop 其实并不是一个产品，而是一些独立模块的组合。主要有分布式文件系统 HDFS 和大型分布式数据处理库 MapReduce。由于目前主要用到 HDFS，所以这里看一下它的工作原理，以及相应的介绍下配置。

什么是 HDFS？Hadoop Distributed File System，字面意思，Hadoop 分布式文件系统，通俗的讲，就是可以将不同节点的设备用来存储。它分为两个部分：NameNode 和 DateNode，NameNode 相当于一个领导，它管理集群内的 DataNode，当客户发送请求过来后，NameNode 会根据情况指定存储到哪些 DataNode 上，而其本身自己并不存储真实的数据。那 NameNode 怎么知道集群内 DataNode 的信息呢？DataNode 发送心跳信息给 NameNode。

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

下面工作原理我就直接 copy 了。。

工作原理

写操作：