Hadoop 2.2.0版本HDFS的HA配置

155次阅读

没有评论

共计 13835 个字符，预计需要花费 35 分钟才能阅读完成。

注：以下配置描述的是 HDFS 的 QJM 方式的 HA 配置。

这里我使用了三台机器 (在笔记本上使用 vmware 创建了三个虚拟机来实现) 部署 zookeeper 集群，机器 IP 分别是：

l 192.168.111.130(hostname：hd0)

l 192.168.111.131(hostname：hd1)

l 192.168.111.132(hostname：hd2)

首先建立 zookeeper 的数据目录，比如：

mkdir -p /opt/Hadoop/data/zookeeper

同时建立日志存放目录：

mkdir –p /opt/hadoop/logs/zookeeper

然后修改环境变量（比如修改~/.profile），增加如下变量：

export ZOO_HOME=/opt/hadoop/apps/zookeeper-3.4.5

export ZOO_LOG_DIR=/opt/hadoop/logs/zookeeper

在 $ZOO_HOME/conf 下创建配置文件：

touch zoo.cfg

在 zoo.cfg 文件是加入以下配置：

tickTime=2000

dataDir=/opt/hadoop/data/zookeeper

clientPort=31315

initLimit=5

syncLimit=2

server.1=192.168.111.130:31316:31317

server.2=192.168.111.131:31316:31317

server.3=192.168.111.132:31316:31317

在三台服务器的目录 /opt/hadoop/data/zookeeper 下分别创建一个叫 myid 的文件，内容分别是 1，2，3，如：

# 在 192.168.111.130 上执行如下命令

echo 1 >/opt/hadoop/data/zookeeper/myid

# 在 192.168.111.131 上执行如下命令

echo 2 >/opt/hadoop/data/zookeeper/myid

# 在 192.168.111.132 上执行如下命令

echo 3 >/opt/hadoop/data/zookeeper/myid

最后就是分别启动 zookeeper 服务了：

cd $ZOO_HOME

./bin/zkServer.sh start

通过 jps 命令可以检查是否启动成功：

hd@hd0:/opt/hadoop/apps/zookeeper-3.4.5$ jps

1239 QuorumPeerMain

看到 QuorumPeerMain 进程就表示 zookeeper 启动成功了。

测试 zookeeper 集群是否建立成功，在 $ZOO_HOME 目录下执行以下命令即可，如无报错表示集群创建成功：

./bin/zkCli.sh -server localhost:31315

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>

</property>

<name>io.file.buffer.size</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop/data/hadoop/temp</value>

<description>Abase for other temporarydirectories.</description>

</property>

<name>hadoop.proxyuser.hadoop.hosts</name>

</property>

<name>hadoop.proxyuser.hadoop.groups</name>

</property>

<name>ha.zookeeper.quorum</name>

</property>

<name>ha.zookeeper.session-timeout.ms</name>

</property>

</configuration>

<?xml version=”1.0″encoding=”UTF-8″?>

<?xml-stylesheet type=”text/xsl”href=”https://www.linuxidc.com/Linux/2014-02/configuration.xsl”?>

<name>dfs.namenode.name.dir</name>

<value>/opt/hadoop/data/hadoop/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>/opt/hadoop/data/hadoop/dfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<name>dfs.permissions.enabled</name>

<value>false</value>

</property>

<name>dfs.nameservices</name>

<value>mycluster</value>

<description>Logical name for this newnameservice</description>

</property>

<name>dfs.ha.namenodes.mycluster</name>

<description>Unique identifiers for each NameNode in thenameservice</description>

</property>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>

</property>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>

</property>

<name>dfs.namenode.servicerpc-address.mycluster.nn1</name>

</property>

<name>dfs.namenode.servicerpc-address.mycluster.nn2</name>

</property>

<name>dfs.namenode.http-address.mycluster.nn1</name>

</property>

<name>dfs.namenode.http-address.mycluster.nn2</name>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://192.168.111.130:8485;192.168.111.131:8485;192.168.111.132:8485/mycluster</value>

</property>

<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa_nn1</value>

</property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/opt/hadoop/data/hadoop/journaldata</value>

</property>

<name>dfs.ha.automatic-failover.enabled</name>

</property>

<name>ha.failover-controller.cli-check.rpc-timeout.ms</name>

</property>

<name>ipc.client.connect.timeout</name>

</property>

<name>dfs.image.transfer.bandwidthPerSec</name>

</property>

</configuration>

在上面的配置中有一个地方要特别说明一下，dfs.ha.fencing.ssh.private-key-files 这里指向的是一个本地文件。上面我们是配置了两个 namenode 来实现 HDFS 的 HA 的，分别是 nn1 和 nn2，在 nn2 的~/.ssh/ 目录下需要将 nn1 的~/.ssh/ 目录下的 id_rsa 文件 copy 过来，并且应该重命名成如 id_rsa_nn1 这样的文件名，以免覆盖了本地的文件。

相关阅读：

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm

<?xml version=”1.0″?>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.Hadoop.mapred.ShuffleHandler</value>

</property>

<name>yarn.resourcemanager.address</name>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

</property>

<name>yarn.resourcemanager.admin.address</name>

</property>

<name>yarn.resourcemanager.webapp.address</name>

</property>

</configuration>

安装环境：Ubuntu 12.04.3 LTS

硬件环境：三台服务器，两台 namenode，一台 datanode，分别如下：

ü 192.168.111.130，主 namenode，zookeeper，journalnode，zkfc

ü 192.168.111.131，datanode，zookeeper，journalnode

ü 192.168.111.132，备 namenode，zookeeper，journalnode，zkfc

0、首先把各个 zookeeper 起来，如果 zookeeper 集群还没有启动的话。

./bin/zkServer.sh start

1、然后在某一个 namenode 节点执行如下命令，创建命名空间

./bin/hdfs zkfc -formatZK

2、在各个节点用如下命令启日志程序

./sbin/hadoop-daemon.sh start journalnode

3、在主 namenode 节点用./bin/hadoopnamenode -format 格式化 namenode 和 journalnode 目录

./bin/hadoop namenode -format mycluster

4、在主 namenode 节点启动./sbin/hadoop-daemon.shstart namenode 进程

./sbin/hadoop-daemon.sh start namenode

5、在备节点执行第一行命令，这个是把备 namenode 节点的目录格式化并把元数据从主 namenode 节点 copy 过来，并且这个命令不会把 journalnode 目录再格式化了！然后用第二个命令启动备 namenode 进程！

./bin/hdfs namenode –bootstrapStandby

./sbin/hadoop-daemon.sh start namenode

6、在两个 namenode 节点都执行以下命令

./sbin/hadoop-daemon.sh start zkfc

7、在所有 datanode 节点都执行以下命令启动 datanode

./sbin/hadoop-daemon.sh start datanode

下次启动的时候，就直接执行以下命令就可以全部启动所有进程和服务了：

./sbin/start-dfs.sh

然后访问以下两个地址查看启动的两个 namenode 的状态：

http://192.168.111.130:50070/dfshealth.jsp

http://192.168.111.132:50070/dfshealth.jsp

停止所有 HDFS 相关的进程服务，执行以下命令：

./sbin/stop-dfs.sh

在任意一台 namenode 机器上通过 jps 命令查找到 namenode 的进程号，然后通过 kill - 9 的方式杀掉进程，观察另一个 namenode 节点是否会从状态 standby 变成 active 状态。

hd@hd0:/opt/hadoop/apps/hadoop$ jps

1686 JournalNode

1239 QuorumPeerMain

1380 NameNode

2365 Jps

1863 DFSZKFailoverController

hd@hd0:/opt/hadoop/apps/hadoop$ kill -9 1380

然后观察原来是 standby 状态的 namenode 机器的 zkfc 日志，若最后一行出现如下日志，则表示切换成功：

2013-12-31 16:14:41,114 INFOorg.apache.hadoop.ha.ZKFailoverController: Successfully transitioned NameNodeat hd0/192.168.111.130:53310 to active state

这时再通过命令启动被 kill 掉的 namenode 进程

./sbin/hadoop-daemon.sh start namenode

对应进程的 zkfc 最后一行日志如下：

2013-12-31 16:14:55,683 INFOorg.apache.hadoop.ha.ZKFailoverController: Successfully transitioned NameNodeat hd2/192.168.111.132:53310 to standby state

可以在两台 namenode 机器之间来回 kill 掉 namenode 进程以检查 HDFS 的 HA 配置！

相关阅读：

将本地文件拷到 HDFS 中 http://www.linuxidc.com/Linux/2013-05/83866.htm

从 HDFS 下载文件到本地 http://www.linuxidc.com/Linux/2012-11/74214.htm

将本地文件上传至 HDFS http://www.linuxidc.com/Linux/2012-11/74213.htm

HDFS 基本文件常用命令 http://www.linuxidc.com/Linux/2013-09/89658.htm

Hadoop 中 HDFS 和 MapReduce 节点基本简介 http://www.linuxidc.com/Linux/2013-09/89653.htm

《Hadoop 实战》中文版 + 英文文字版 + 源码【PDF】http://www.linuxidc.com/Linux/2012-10/71901.htm

Hadoop: The Definitive Guide【PDF 版】http://www.linuxidc.com/Linux/2012-01/51182.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

注：以下配置描述的是 HDFS 的 QJM 方式的 HA 配置。

这里我使用了三台机器 (在笔记本上使用 vmware 创建了三个虚拟机来实现) 部署 zookeeper 集群，机器 IP 分别是：

l 192.168.111.130(hostname：hd0)

l 192.168.111.131(hostname：hd1)

l 192.168.111.132(hostname：hd2)

首先建立 zookeeper 的数据目录，比如：

mkdir -p /opt/Hadoop/data/zookeeper

同时建立日志存放目录：

mkdir –p /opt/hadoop/logs/zookeeper

然后修改环境变量（比如修改~/.profile），增加如下变量：

export ZOO_HOME=/opt/hadoop/apps/zookeeper-3.4.5

export ZOO_LOG_DIR=/opt/hadoop/logs/zookeeper

在 $ZOO_HOME/conf 下创建配置文件：

touch zoo.cfg

在 zoo.cfg 文件是加入以下配置：

tickTime=2000

dataDir=/opt/hadoop/data/zookeeper

clientPort=31315

initLimit=5

syncLimit=2

server.1=192.168.111.130:31316:31317

server.2=192.168.111.131:31316:31317

server.3=192.168.111.132:31316:31317

在三台服务器的目录 /opt/hadoop/data/zookeeper 下分别创建一个叫 myid 的文件，内容分别是 1，2，3，如：

# 在 192.168.111.130 上执行如下命令

echo 1 >/opt/hadoop/data/zookeeper/myid

# 在 192.168.111.131 上执行如下命令

echo 2 >/opt/hadoop/data/zookeeper/myid

# 在 192.168.111.132 上执行如下命令

echo 3 >/opt/hadoop/data/zookeeper/myid

最后就是分别启动 zookeeper 服务了：

cd $ZOO_HOME

./bin/zkServer.sh start

通过 jps 命令可以检查是否启动成功：

hd@hd0:/opt/hadoop/apps/zookeeper-3.4.5$ jps

1239 QuorumPeerMain

看到 QuorumPeerMain 进程就表示 zookeeper 启动成功了。

测试 zookeeper 集群是否建立成功，在 $ZOO_HOME 目录下执行以下命令即可，如无报错表示集群创建成功：

./bin/zkCli.sh -server localhost:31315

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>

</property>

<name>io.file.buffer.size</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop/data/hadoop/temp</value>

<description>Abase for other temporarydirectories.</description>

</property>

<name>hadoop.proxyuser.hadoop.hosts</name>

</property>

<name>hadoop.proxyuser.hadoop.groups</name>

</property>

<name>ha.zookeeper.quorum</name>

</property>

<name>ha.zookeeper.session-timeout.ms</name>

</property>

</configuration>

<?xml version=”1.0″encoding=”UTF-8″?>

<?xml-stylesheet type=”text/xsl”href=”https://www.linuxidc.com/Linux/2014-02/configuration.xsl”?>

<name>dfs.namenode.name.dir</name>

<value>/opt/hadoop/data/hadoop/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>/opt/hadoop/data/hadoop/dfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<name>dfs.permissions.enabled</name>

<value>false</value>

</property>

<name>dfs.nameservices</name>

<value>mycluster</value>

<description>Logical name for this newnameservice</description>

</property>

<name>dfs.ha.namenodes.mycluster</name>

<description>Unique identifiers for each NameNode in thenameservice</description>

</property>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>

</property>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>

</property>

<name>dfs.namenode.servicerpc-address.mycluster.nn1</name>

</property>

<name>dfs.namenode.servicerpc-address.mycluster.nn2</name>

</property>

<name>dfs.namenode.http-address.mycluster.nn1</name>

</property>

<name>dfs.namenode.http-address.mycluster.nn2</name>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://192.168.111.130:8485;192.168.111.131:8485;192.168.111.132:8485/mycluster</value>

</property>

<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa_nn1</value>

</property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/opt/hadoop/data/hadoop/journaldata</value>

</property>

<name>dfs.ha.automatic-failover.enabled</name>

</property>

<name>ha.failover-controller.cli-check.rpc-timeout.ms</name>

</property>

<name>ipc.client.connect.timeout</name>

</property>

<name>dfs.image.transfer.bandwidthPerSec</name>

</property>

</configuration>

在上面的配置中有一个地方要特别说明一下，dfs.ha.fencing.ssh.private-key-files 这里指向的是一个本地文件。上面我们是配置了两个 namenode 来实现 HDFS 的 HA 的，分别是 nn1 和 nn2，在 nn2 的~/.ssh/ 目录下需要将 nn1 的~/.ssh/ 目录下的 id_rsa 文件 copy 过来，并且应该重命名成如 id_rsa_nn1 这样的文件名，以免覆盖了本地的文件。

相关阅读：

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm

正文完

星哥说事-微信公众号