Hadoop2.7.1 HA安装部署详解

共计 15089 个字符，预计需要花费 38 分钟才能阅读完成。

Hadoop 集群规划

目标：创建 2 个 NameNode，做高可用，一个 NameNode 挂掉，另一个能够启动；一个运行 Yarn，3 台 DataNode，3 台 Zookeeper 集群，做高可用。

在 hadoop2 中通常由两个 NameNode 组成，一个处于 active 状态，另一个处于 standby 状态。Active NameNode 对外提供服务，而 Standby NameNode 则不对外提供服务，仅同步 active namenode 的状态，以便能够在它失败时快速进行切换。

这里还配置了一个 zookeeper 集群，用于 ZKFC（DFSZKFailoverController）故障转移，当 Active NameNode 挂掉了，会自动切换 Standby NameNode 为 standby 状态

安装我都把 hadoop 和 Zookeeper 放到了 /soft/ 下面；

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

Hadoop2.7.2-HA 安装笔记 http://www.linuxidc.com/Linux/2016-12/138477.htm

基于 HA 的 Hadoop2.7.1 完全分布式集群搭建 http://www.linuxidc.com/Linux/2016-12/138476.htm

Hadoop2.7.1 HA 集群部署 http://www.linuxidc.com/Linux/2016-12/138475.htm

操作系统 CentOS6.5,64 位操作系统，采用最小化安装，为了能够实现目标，采用 VMware 虚拟机来搭建 6 台服务器，所以建议服务器至少有 8G 内存；vmware 使用的是 VMware® Workstation 11.0.0 build-2305329；

网络配置如下：

虚拟机配置如下：

yum install -y ntp # 安装时间服务
ntpdate us.pool.ntp.org # 同步时间

2、设置主机 IP

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
IPADDR=192.168.8.101
NETMASK=255.255.255.0
GATEWAY=192.168.8.2
HWADDR=00:0C:29:56:63:A1
TYPE=Ethernet
UUID=ecb7f947-8a93-488c-a118-ffb011421cac
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none

然后重启网络服务

service network restart

查看 ip 配置

ifconfig eth0

eth0 Link encap:Ethernet HWaddr 00:0C:29:6C:20:2B
inet addr:192.168.8.101 Bcast:192.168.8.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe6c:202b/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:777 errors:0 dropped:0 overruns:0 frame:0
TX packets:316 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:70611 (68.9 KiB) TX bytes:49955 (48.7 KiB)

这就说明我们配置的 IP 地址是成功的

注意：

使用 vmware 克隆了 5 台虚拟机，配置网卡的时候出现报错：”Bring up interface eth0：Device eth0 does not seem to be present，delaying initialization”

解决步骤：

第一步删除文件 70-persistent-net.rules

rm -f /etc/udev/rules.d/70-persistent-net.rule

第二步修改 ifcfg-eth0

vim /etc/sysconfig/network-scripts/ifcfg-eth0

删除或者注释 MAC 地址的配置

第三步：重启服务器

reboot

这样就可以设置新的 ip 地址了

把一台主机的名称改为：hadoop01

vi /etc/sysconfig/network

修改 hostname 就可以了：

NETWORKING=yes
HOSTNAME=hadoop01
NETWORKING_IPV6=no

要修改 hosts

vi /etc/hosts

127.0.0.1 localhost
192.168.8.101 hadoop01 192.168.8.102 hadoop02 192.168.8.103 hadoop03 192.168.8.104 hadoop04 192.168.8.105 hadoop05 192.168.8.106 hadoop06

关闭 ipv6

1、查看系统是否开启 ipv6

a）通过网卡属性查看

命令：ifconfig

注释：有“inet6 addr：。。。。。。。“的表示开启了 ipv6 功能

b）通过内核模块加载信息查看

命令：lsmod | grep ipv6

2、ipv6 关闭方法

在 /etc/modprobe.d/dist.conf 结尾添加

alias net-pf-10 off
alias ipv6 off

可用 vi 等编辑器，也可以通过命令：

cat <<EOF>>/etc/modprobe.d/dist.conf

alias net-pf-10 off

alias ipv6 off

EOF

关闭防火墙

chkconfig iptables stop
chkconfig iptables off

改好后重启服务器：

reboot

hadoop02-hadoop06 都需要设置

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2016-12/138479p2.htm

将压缩包解压到指定目录，然后编辑环境变量

vi /etc/proflie

在文件后面追加环境变量

export JAVA_HOME=/soft/jdk1.7.0_80/
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

刷新

source /etc/profile

可以用 java -version 测试安装是否正确

对于需要远程管理其它机器，一般使用远程桌面或者 telnet。linux 一般只能是 telnet。但是 telnet 的缺点是通信不加密，存在不安全因素，只适合内网访问。为

解决这个问题，推出了通信加密通信协议，即 SSH（Secure Shell）。使用非对称加密方式，传输内容使用 rsa 或者 dsa 加密，可以避免网络窃听。

Hadoop 的进程之间同信使用 ssh 方式，需要每次都要输入密码。为了实现自动化操作，需要配置 ssh 免密码登陆方式。

hadoop01\hadoop02 做为 NameNode，要访问到其他的节点，我们要在 hadoop01 可以访问到 hadoop01-hadoop06（记住 hadoop01 也需要免登陆自己），hadoop02 可以访问到 hadoop01，hadoop03 是 yarn 服务，要可以访问到 datanode，所以 hadoop03 要免登陆到 hadoop04-hadoop06；

首先要在 hadoop01 上生成 ssh 私钥和公钥

cd /root/.ssh
ssh-keygen -t rsa #4 个回车

上面的命令会在.ssh 目录生成一个私钥和一个公钥

id_rsa id_rsa.pub

然后将 hadoop01 的公钥复制到 hadoop02-hadoop06，用以下命令执行

ssh-copy-id -i hadoop01
ssh-copy-id -i hadoop02
ssh-copy-id -i hadoop03
ssh-copy-id -i hadoop04
ssh-copy-id -i hadoop05
ssh-copy-id -i hadoop06

上面的命令一行一行执行，先输入 yes，再输入机器的密码就可以了；

现在我们来检验以一下 hadoop01 到 hadoop05 的免登陆

我们在 hadoop01 中无密码登录 hadoop05 输入：

[root@hadoop01 .ssh]# ssh hadoop05
Last login: Tue Nov 10 17:43:41 2015 from 192.168.8.1
[root@hadoop05 ~]#

可以看到已经可以从 hadoop01 到 hadoop05 免登陆了；输入 exit 退出

接下来设置 hadoop02 到 hadoop01 的免登陆

在 hadoop02 的 /root/.ssh 中执行

ssh-keygen -t rsa #4 个回车

ssh-copy-id -i hadoop01

如果出现以上信息就表示配置成功了。用 exit 退出；

那现在就很方便了，不用打开多个 ssh，用一个就全搞定了；也可以配置一个 hadoop 用户，我现在都是使用 root 用户。

同里也要配置 hadoop03 到 hadoop04-hadoop06 的免登陆，这里就不列出了。

要将 zookeeper 集群部署到 hadoop04、hadoop05、hadoop06 上，先来设置 hadoop04，操作如下

解压 zookeeper 到指定目录

tar -zxvf zookeeper-3.4.6.tar.gz -C /root/soft

切换到 zookeeper 目录的 conf 目录，修改 zoo.sample.cfg 为 zoo.cfg

mv zoo.sample.cfg zoo.cfg

配置 zoo.cfg

vi zoo.cfg

[root@hadoop04 conf]# vi zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/soft/zookeeper-3.4.6/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=192.168.8.104:2888:3888
server.2=192.168.8.105:2888:3888
server.3=192.168.8.106:2888:3888

保存 zoo.cfg

server.1=192.168.8.104:2888:3888

2888 是通信端口，3888 是 zookeeper 选举端口，这里用 ip 也可以，用主机名也可以。

注意配置文件中的 datadir

dataDir=/soft/zookeeper–3.4.6/data

这个目录要真实存在才可以；

接下来要在/soft/zookeeper–3.4.6/data 目录中增加一个文件 ”myid”

vi myid

文件里面写入 1，然后保存，这表示是 server.1;

好了，这样就配置好了，将配置好的拷贝到 hadoop05、hadoop06，注意要修改 data 目录中 myid 的内容为响应的 2 和 3

启动 hadoop04、hadoop05、hadoop06 的 zookeeper 服务

zookeeper–3.4. 6 目录执行以下命令

bin/zkServer.sh start # 启动
bin/zkServer.sh status # 查看状态

hadoop04 的结果：

[root@hadoop04 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader

hadoop05 的结果：

[root@hadoop05 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

hadoop06 的结果：

[root@hadoop06 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

接下来测试以下 zookeeper 集群，在 hadoop04 上关闭 zookeeper

bin/zkServer.sh stop

hadoop04 的结果：

[root@hadoop04 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
[root@hadoop04 zookeeper-3.4.6]#

hadoop05 的结果：

[root@hadoop05 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

hadoop06 的结果：

[root@hadoop06 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader

从上面结果可以看出，zookeeper 集群是没有问题的，hadoop04 挂掉，hadoop06 就变成了 leader，这说明 zookeeper 集群已经部署好了。

现在 hadoop01 上面配置好，然后再拷贝到其他机器上；

先解压 hadoop-2.7.1.tar.gz 到 soft，查看 hadoop 目录文件如下：

[root@hadoop01 hadoop-2.7.1]# ls
bin etc include journal lib libexec LICENSE.txt logs NOTICE.txt README.txt sbin share

所有的配置文件都存放在 etc/hadoop/ 文件夹里面

在 /etc/profile 文件中增加 HADOOP_HOME，如下所示

export JAVA_HOME=/soft/jdk1.7.0_80/
export HADOOP_HOME=/soft/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

应用环境变量

source /etc/profile

可以用方法测试是否正确

[root@hadoop01 hadoop-2.7.1]# which hadoop
/soft/hadoop-2.7.1/bin/hadoop

vim hadoop-env.sh

修改一个地方就可以，找到 JAVA_HOME，改成第 4 章中 jdk 的路径就可以了

export JAVA_HOME=/soft/jdk1.7.0_80/

保存即可。

这一步是配置 nameservice，hadoop 文件存储位置和 Zookeeper 集群来确保多个 namenode 之间的切换，修改后内容如下：

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/soft/hadoop-2.7.1/tmp</value>
</property>

<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop04:2181,hadoop05:2181,hadoop06:2181</value>
</property>
</configuration>

Hadoop 集群规划

目标：创建 2 个 NameNode，做高可用，一个 NameNode 挂掉，另一个能够启动；一个运行 Yarn，3 台 DataNode，3 台 Zookeeper 集群，做高可用。

这里还配置了一个 zookeeper 集群，用于 ZKFC（DFSZKFailoverController）故障转移，当 Active NameNode 挂掉了，会自动切换 Standby NameNode 为 standby 状态

安装我都把 hadoop 和 Zookeeper 放到了 /soft/ 下面；

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

Hadoop2.7.2-HA 安装笔记 http://www.linuxidc.com/Linux/2016-12/138477.htm

基于 HA 的 Hadoop2.7.1 完全分布式集群搭建 http://www.linuxidc.com/Linux/2016-12/138476.htm

Hadoop2.7.1 HA 集群部署 http://www.linuxidc.com/Linux/2016-12/138475.htm

网络配置如下：

虚拟机配置如下：

yum install -y ntp # 安装时间服务
ntpdate us.pool.ntp.org # 同步时间

2、设置主机 IP

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
IPADDR=192.168.8.101
NETMASK=255.255.255.0
GATEWAY=192.168.8.2
HWADDR=00:0C:29:56:63:A1
TYPE=Ethernet
UUID=ecb7f947-8a93-488c-a118-ffb011421cac
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none

然后重启网络服务

service network restart

查看 ip 配置

ifconfig eth0

eth0 Link encap:Ethernet HWaddr 00:0C:29:6C:20:2B
inet addr:192.168.8.101 Bcast:192.168.8.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe6c:202b/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:777 errors:0 dropped:0 overruns:0 frame:0
TX packets:316 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:70611 (68.9 KiB) TX bytes:49955 (48.7 KiB)

这就说明我们配置的 IP 地址是成功的

注意：

使用 vmware 克隆了 5 台虚拟机，配置网卡的时候出现报错：”Bring up interface eth0：Device eth0 does not seem to be present，delaying initialization”

解决步骤：

第一步删除文件 70-persistent-net.rules

rm -f /etc/udev/rules.d/70-persistent-net.rule

第二步修改 ifcfg-eth0

vim /etc/sysconfig/network-scripts/ifcfg-eth0

删除或者注释 MAC 地址的配置

第三步：重启服务器

reboot

这样就可以设置新的 ip 地址了

把一台主机的名称改为：hadoop01

vi /etc/sysconfig/network

修改 hostname 就可以了：

NETWORKING=yes
HOSTNAME=hadoop01
NETWORKING_IPV6=no

要修改 hosts

vi /etc/hosts

127.0.0.1 localhost
192.168.8.101 hadoop01 192.168.8.102 hadoop02 192.168.8.103 hadoop03 192.168.8.104 hadoop04 192.168.8.105 hadoop05 192.168.8.106 hadoop06

关闭 ipv6

1、查看系统是否开启 ipv6

a）通过网卡属性查看

命令：ifconfig

注释：有“inet6 addr：。。。。。。。“的表示开启了 ipv6 功能

b）通过内核模块加载信息查看

命令：lsmod | grep ipv6

2、ipv6 关闭方法

在 /etc/modprobe.d/dist.conf 结尾添加

alias net-pf-10 off
alias ipv6 off

可用 vi 等编辑器，也可以通过命令：

cat <<EOF>>/etc/modprobe.d/dist.conf

alias net-pf-10 off

alias ipv6 off

EOF

关闭防火墙

chkconfig iptables stop
chkconfig iptables off

改好后重启服务器：

reboot

hadoop02-hadoop06 都需要设置

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2016-12/138479p2.htm

hdfs-site.xml 主要配置 namenode 的高可用；

内容如下：

<configuration>

<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>

<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>

<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>Hadoop01:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hadoop01:50070</value>
</property>

<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>hadoop02:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hadoop02:50070</value>
</property>

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns1</value>
</property>

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/soft/hadoop-2.7.1/journal</value>
</property>

<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
</configuration>

保存即可。

vi slaves

修改 datanode 节点如下：

hadoop04
hadoop05
hadoop06

保存即可。

默认是没有 mapred-site.xml 文件的，里面有一个 mapred-site.xml.example, 重命名为 mapred-site.xml

mv mapred-site.xml.example mapred-site.xml

配置内容如下，这里就是指明 mapreduce 是用在 YARN 之上来执行的。

<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

做规划的时候就是配置 hadoop03 来运行 yarn，配置如下：

<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop03</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

到目前为止就已经配置好 hadoop01 了，要将配置好的 hadoop 文件拷贝到 hadoop02-hadoop06 上，cd 到 soft 目录

scp -r hadoop2.7.1 hadoop02:/soft/
scp -r hadoop2.7.1 hadoop03:/soft/
scp -r hadoop2.7.1 hadoop04:/soft/
scp -r hadoop2.7.1 hadoop05:/soft/
scp -r hadoop2.7.1 hadoop06:/soft/

在 hadoop04、hadoop05、hadoop06 上启动 Zookeeper，下面以 hadoop04 为例

[root@hadoop04 zookeeper-3.4.6]# bin/zkServer.sh start
JMX enabled by default
Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

确保这三台服务器上有一个 leader，两个 follower

[root@hadoop01 hadoop-2.7.1]# sbin/hadoop-daemons.sh start journalnode

在 7.4 中配置了 journalnode 的节点是 hadoop04、hadoop05、hadoop06，这三台机器上会出现JournalNode，以下是 hadoop04 上的进程

[root@hadoop04 zookeeper-3.4.6]# jps
1532 JournalNode
1796 Jps
1470 QuorumPeerMain

hadoop namenode -format

格式化后会在根据 7.3 中 core-site.xml 中的 hadoop.tmp.dir 配置生成个文件，在 hadoop01 中会出现一个 tmp 文件夹，/soft/hadoop-2.7.1/tmp，现在规划的是 hadoop01 和 hadoop02 是 NameNode，然后将 /soft/hadoop-2.7.1/tmp 拷贝到 hadoop02:/soft/hadoop-2.7.1/ 下，这样 hadoop02 就不用格式化了。