Hadoop2.0的HA介绍

454次阅读

共计 3175 个字符，预计需要花费 8 分钟才能阅读完成。

前一篇文章介绍了 Hadoop2.0（hadoop2.0 架构，具体版本是 hadoop2.2.0）的安装和最基本的配置（见 http://www.linuxidc.com/Linux/2014-05/101173.htm），并没有配置 HA（High Avalability，高可用性），接下来的文章中会介绍 hadoop2.0HA 的配置。在介绍 hadoop2.0 的 HA 配置之前，本文先介绍 hadoop2.0HA 的基本原理和 2 种方式。

1 概述

在 hadoop2.0 之前，namenode 只有一个，存在单点问题（虽然 hadoop1.0 有 secondarynamenode，checkpointnode，buckcupnode 这些，但是单点问题依然存在），在 hadoop2.0 引入了 HA 机制。hadoop2.0 的 HA 机制官方介绍了有 2 种方式，一种是 NFS（Network File System）方式，另外一种是 QJM（Quorum Journal Manager）方式。

2 基本原理

hadoop2.0 的 HA 机制有两个 namenode，一个是 active namenode，状态是 active；另外一个是 standby namenode，状态是 standby。两者的状态是可以切换的，但不能同时两个都是 active 状态，最多只有 1 个是 active 状态。只有 active namenode 提供对外的服务，standby namenode 是不对外服务的。active namenode 和 standby namenode 之间通过 NFS 或者 JN（journalnode，QJM 方式）来同步数据。

active namenode 会把最近的操作记录写到本地的一个 edits 文件中（edits file），并传输到 NFS 或者 JN 中。standby namenode 定期的检查，从 NFS 或者 JN 把最近的 edit 文件读过来，然后把 edits 文件和 fsimage 文件合并成一个新的 fsimage，合并完成之后会通知 active namenode 获取这个新 fsimage。active namenode 获得这个新的 fsimage 文件之后，替换原来旧的 fsimage 文件。

这样，保持了 active namenode 和 standby namenode 的数据的实时同步，standby namenode 可以随时切换成 active namenode（譬如 active namenode 挂了）。而且还有一个原来 hadoop1.0 的 secondarynamenode，checkpointnode，buckcupnode 的功能：合并 edits 文件和 fsimage 文件，使 fsimage 文件一直保持更新。所以启动了 hadoop2.0 的 HA 机制之后，secondarynamenode，checkpointnode，buckcupnode 这些都不需要了。

3 NFS 方式

NFS 作为 active namenode 和 standby namenode 之间数据共享的存储。active namenode 会把最近的 edits 文件写到 NFS，而 standby namenode 从 NFS 中把数据读过来。这个方式的缺点是，如果 active namenode 或者 standby namenode 有一个和 NFS 之间网络有问题，则会造成他们之前数据的同步出问题。

Hadoop2.0 的 HA 介绍

4 QJM（Quorum Journal Manager）方式

QJM 的方式可以解决上述 NFS 容错机制不足的问题。active namenode 和 standby namenode 之间是通过一组 journalnode（数量是奇数，可以是 3,5,7…,2n+1）来共享数据。active namenode 把最近的 edits 文件写到 2n+ 1 个 journalnode 上，只要有 n + 1 个写入成功就认为这次写入操作成功了，然后 standby namenode 就可以从 journalnode 上读取了。可以看到，QJM 方式有容错的机制，可以容忍 n 个 journalnode 的失败。

Hadoop2.0 的 HA 介绍

5 主备节点的切换

active namenode 和 standby namenode 可以随时切换。当 active namenode 挂掉后，也可以把 standby namenode 切换成 active 状态，成为 active namenode。可以人工切换和自动切换。人工切换是通过执行 HA 管理的命令来改变 namenode 的状态，从 standby 到 active，或者从 active 到 standby。自动切换则在 active namenode 挂掉的时候，standby namenode 自动切换成 active 状态，取代原来的 active namenode 成为新的 active namenode，HDFS 继续正常工作。

主备节点的自动切换需要配置 zookeeper。active namenode 和 standby namenode 把他们的状态实时记录到 zookeeper 中，zookeeper 监视他们的状态变化。当 zookeeper 发现 active namenode 挂掉后，会自动把 standby namenode 切换成 active namenode。

Hadoop2.0 的 HA 介绍

6 实战 tips

QJM 方式有明显的优点，一是本身就有 fencing 的功能，二是通过多个 journal 节点增强了系统的健壮性，所以建议在生成环境中采用 QJM 的方式。
journalnode 消耗的资源很少，不需要额外的机器专门来启动 journalnode，可以从 hadoop 集群中选几台机器同时作为 journalnode。

介绍完 hadoop2.0 的 HA 的基本原理之后，后面的文章会分别详细介绍这两种方式的配置和原理。

————————————– 分割线 ————————————–

相关阅读 ：

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm

————————————– 分割线 ————————————–

参考资料：

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-site/HDFSHighAvailabilityWithNFS.html