RedHat 6.8 搭建 Hadoop 集群

共计 10515 个字符，预计需要花费 27 分钟才能阅读完成。

Hadoop 基本简介

0. 部署计划

本文使用的版本是 

• Red Hat 6.8 - 本来想用 CentOS7 搭建的，但是工作需要还是换成这个了，不用红帽子用 Centos 6 系列的应该也可以
• JDK 1.8
• Hadoop 2.7.7

• 计划部署 2 台虚拟机，分别命名为 node- 1 和 node-2，4G 内存和 40G 的硬盘

1. 环境部署

node-1&2 环境

• 以下内容两台机器都要配置

1. 部署虚拟机（使用 VMware 傻瓜式操作，不再赘述）

2. 挂载本地 yum 源（或者使用网络都行）

3. 同步机组时间

   #yum 安装 ntpdate
   yum install ntpdate
   #网络同步时间
   ntpdate cn.pool.ntp.org

4. 配置主机名称

   vim /etc/sysconfig/network
   ​
   #修改为：NETWORKING=yes
   HOSTNAME=node-1 

5. 配置 IP、主机名映射

   vim /etc/hosts
   ​
   #直接添加
   192.168.98.129 node-1
   192.168.98.130 node-2

6. 配置 ssh 免密登录

   ssh-keygen -t rsa #再按四次回车
   Generating public/private rsa key pair.
   Enter file in which to save the key (/root/.ssh/id_rsa):
   Enter passphrase (empty for no passphrase):
   Enter same passphrase again:
   Your identification has been saved in /root/.ssh/id_rsa.
   Your public key has been saved in /root/.ssh/id_rsa.pub.
   The key fingerprint is:
   20:15:74:e0:d2:48:1d:0d:e4:42:2a:14:28:1e:b7:75 root@node-1
   The key's randomart image is:
   +--[RSA 2048]----+
   |.o. o+O*.        |
   |+. = B.E.        |
   |+ + B *          |
   | o . + .         |
   |        S        |
   |                 |
   |                 |
   |                 |
   |                 |
   +-----------------+
   ​
   #使用 ssh-copy-id 命令将公钥考培到要免密登录的目标机器上
   ssh-copy-id node-1
   ssh-copy-id node-2

7. 关闭防火墙

   # 查看防火墙状态
   service iptables status
   #关闭防火墙
   service iptables stop
   #查看防火墙开机启动状态
   chkconfig iptables --list
   #关闭防火墙开机启动
   chkconfig iptables off

   如下图状态则说明防火墙已经关闭、防火墙开机不会自动启动

   

8. 安装 JDK

   • 使用 rpm 格式文件安装

   • 复制到 /usr/java 文件夹（没有则先创建文件夹）

   • # 授予权限
     chmod 700 jdk-8u65-linux-x64.rpm
     #安装
     rpm -ivh jdk-8u65-linux-x64.rpm

   • 安装完成

9. 配置环境变量

# 打开全局环境变量设置
vim  /etc/profile
​
#在文档最下方添加配置
JAVA_HOME=/usr/java/jdk1.8.0_65
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
​
#生效配置
source /etc/profile
​
#测试配置
java -version

配置成功：

node- 1 配置 Hadoop

• 以下操作只要在 node1 上操作

1. 安装 Hadoop

   • 使用 tar.gz 格式安装

   • 复制到 /usr/hop，没路径自行创建

   # 授予权限
   chmod 700 hadoop-2.7.7.tar.gz
   ​
   #解压到当前路径
   [root@node-1 hop]# tar zxvf hadoop-2.7.7.tar.gz
   ​

2. 配置 Hadoop

   1. 配置目录：/usr/hop/hadoop-2.7.7/etc/hadoop

      • 所有配置文件都在这里

      • 我们一共需要配置：

        • hadoop-env.sh

        • core-site.xml

        • hdfs-site.xml

        • mapred-site.xml

        • yarn-site.xml

        • slaves

   2. vim hadoop-env.sh

      # 在文件中找到 JAVA_HOME，修改配置
      export JAVA_HOME=/usr/java/jdk1.8.0_65

       

   3. vim core-site.xml

      • hadoop.tmp.dir 是导出目录，注意要手动创建 /usr/hop/hadoop-2.7.7/data/

      • 最好创建在 hadoop 的安装目录下

      <configuration>
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://node-1:9000</value>
        </property>
        <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/hop/hadoop-2.7.7/data/hopdata</value>
        </property>
      </configuration>

       

      • 注意不一样，别写错

      • 

         

   4. vim hdfs-site.xml

      • dfs.replication 是指默认备份的数量

      <configuration>
        <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>node-2:50090</value>
        </property>
        <property>
          <name>dfs.replication</name>
          <value>2</value>
        </property>
      </configuration>
      ​

       

   5.  mapred-site.xml

      • 默认只有 mapred-site.xml.template，因此要改成 mapred-site.xml

mv mapred-site.xml.template
vim mapred-site.xml

​

<!-- 指定 mapreduce 运行时框架，这里指定在 yarn 上，默认是 local-->

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
​

6. vim yarn-site.xml

​

<configuration>
​
<!-- Site specific YARN configuration properties -->
  <property>
    <!-- 指定 YARN 的主机 (ResourceManager) 的地址 -->
    <name>yarn.resourcemanager.hostname</name>
    <value>node-1</value>
  </property>
  <property>
    <!--nodeManager 上运行的附属服务，需要配置成 maperduce_shuffle，才可用 MapReduce 程序 -->
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>
​

7. vim slaves

• • 告诉 hadoop 有多少台机器

node-1
node-2

8. 配置 Hadoop 环境变量，和 java 的一样，配置以后整体如下

JAVA_HOME=/usr/java/jdk1.8.0_65
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/usr/hop/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME CLASSPATH HADOOP_HOME
​

生效环境变量

source /etc/profile

测试环境变量配置是否成功

hadoop version

9. 把 Hadoop 发送到其他机器上

scp -r /usr/hop/hadoop-2.7.7/ root@node-2:/usr/hop

注意，如果导出目录没设置在 Hadoop 安装包里，其他机器上也要手动创建导出目录(最好把导出目录直接设置在 hadoop 文件夹里面。。)

10. 把环境变量发送到其他机器上

scp -r /etc/profile root@node-2:/etc/

生效其他机器的环境变量

source /etc/profile

Hadoop 集群启动

1.hdfs 格式化

• 只有首次启动需要

• 格式化本质是进行文件系统 初始化 操作，创建一些自己所需要的文件

• 格式化之后，集群启动成功，后续不要再格式化

• 格式化的操作在 hdfs 集群的主角色（namenode）上操作

# 以下两条命令都可以，只要执行 1 条！#在 node- 1 中执行
hdfs namenode –format 
hadoop namenode –format

2. 启动 hdfs 集群

• 定位到/usr/hop/hadoop-2.7.7/sbin

• 目录中有一堆执行文件，其中 start-dfs.sh 就是 hdfs 集群的启动文件

• start-all.sh 和 stop-all.sh 是 Deprecated 的，不建议使用

• 执行start-dfs.sh

• 发现报错(如果没报错就跳过)

 一些解决方案

配置完 hadoop 启动的时候出现如下警告信息：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

1. 如何验证 64bit 还是 32bit?

进入 hadoop 安装目录，用 ldd 命令查看依赖库

ldd libhadoop.so.1.0.0 会输出如下信息：

./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
        linux-vdso.so.1 =>  (0x00007fff369ff000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007f3caa7ea000)
        libc.so.6 => /lib64/libc.so.6 (0x00007f3caa455000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f3caac1b000)

可以看到依赖的都是 /lib64/ 的动态库，所以不是 64 位 /32 位问题。但是看到报错，GLIBC_2.14 找不到，现在检查系统的 glibc 库, ldd –version 即可检查。 输入命令：

ldd --version
#会输出如下信息：ldd (GNU libc) 2.12
Copyright (C) 2010 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

原来系统预装的 glibc 库是 2.12 版本，而 hadoop 期望是 2.14 版本，所以打印警告信息。

先回到 Hadoop/sbin 目录关闭 hdfs

cd /usr/hop/hadoop-2.7.7/sbin/
 stop-dfs.sh

到 http://ftp.gnu.org/gnu/glibc/ 下载 glibc-2.14.tar.xz

tar glibc-2.14.tar.gz
xz -d glibc-2.14.tar.xz
tar -xvf glibc-2.14.tar
cd glibc-2.14
mkdir build
cd build
../configure --prefix=/usr/local/glibc-2.14
make -j4
make install

看看现在 libc.so.6 在哪个位置，然后修改软链接

[root@binghe ~]# whereis libc.so.6
libc.so: /lib64/libc.so.6 /usr/lib64/libc.so
[root@binghe ~]# rm -rf /lib64/libc.so.6
### 注意：删除/lib64/libc.so.6 软链接之后，不要关闭当前会话，否则将登录不上系统，切记切记切记！### 直接执行以下代码
[root@binghe ~]# LD_PRELOAD=/usr/local/glibc-2.14/lib/libc-2.14.so ln -s /usr/local/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6

再启动：不再报错了！

3. 启动 yarn 集群

• 同理定位到安装目录的 sbin，启动 yarn,sh

cd /usr/hop/hadoop-2.7.7/sbin/
 start-yarn.sh

4. 全局输入 jps 检查

• 正常是这样的

• 如果发现 node- 1 没有执行 namenode

•  可以 查看 namenode 启动日志，根据日志记录再去看怎么解决

# 在安装目录下找到 Logs 文件夹
cd /usr/hop/hadoop-2.7.7/logs/
#打开 hadoop-root-namenode-node-1.log 日志
vim hadoop-root-namenode-node-1.log

5. 如果想单节点启动，可以使用以下命令（一般不使用）：

• 也要在 sbin 目录下执行

# 在主节点上使用以下命令启动 HDFS NameNode：hadoop-daemon.sh start namenode
#在每个从节点上使用以下命令启动 HDFS DataNode：hadoop-daemon.sh start datanode
#在主节点上使用以下命令启动 YARN ResourceManager：yarn-daemon.sh  start resourcemanager
#在每个从节点上使用以下命令启动 YARN nodemanager：yarn-daemon.sh start nodemanager
#以上脚本位于 $HADOOP_PREFIX/sbin/ 目录下。如果想要停止某个节点上某个角色，只需要把命令中的 start 改为 stop 即可。

6. 登录 web.ui

1. 在浏览器输入 node-1:50070

• 该网址是 hdfs 集群的网络管理端口

• 如果这一步不行，检查 namenode 是否正确启动！

  

2. 在浏览器输入 node-1:8088

• 打开 yarn 集群的管理端口

3. 在浏览器输入 node-2:50090。

4. 如果 node-2:50090 登录不上

• 在 node- 2 查看 node 启动日志

#查看方式和上文 node- 1 的一样，只是��再 node- 2 机器上找，而且找的是 node- 2 中执行的是 SecondaryNameNode 日志
# 在安装目录下找到 Logs 文件夹
cd /usr/hop/hadoop-2.7.7/logs/

• 发现提示：

Call From node-2/192.168.98.130 to node-1:9000 
failed on connection exception: java.net.ConnectException: 
Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

• 说明主机 9000 端口登录不进去

• 回到主机检查

• # 查看端口
  netstat -tlpn

• 发现 9000 端口是在 127.0.0.1 后面，说明此使其他机器访问不了，只能通过本机访问（如果是正确的，应该 192.168.X.X）

• 验证是否连不上

# 使用 telnet 命令验证
telnet node-1 9000
#发现确实连不上
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to node-1.

#如果没有安装 telnet, 使用 yum 命令安装
yum install telnet-server
yum install telnet.*

• 修改 /etc/hosts 文件，发现原来是笔者修改别的错误时，错误的在前两行后面加上 node-1，只要去掉如图就可以了。

• 关闭 Hadoop 集群，重启机器，打开 Hadoop 集群，登录成功了

Hadoop 重要配置解析

基本信息

安装时，我们配置了

• hadoop-env.sh

• core-site.xml

• hdfs-site.xml

• mapred-site.xml

• yarn-site.xml

• slaves

1. 其中 xxx-site.xml 文件，在官网目录最下方，可以找到响应的 xxx-default.xml 文件，如果用户没有更改，那么这里面的选项会生效

http://hadoop.apache.org/docs/r2.7.7/

1. site 中配置了，就会覆盖了默认的配置选项

3. Deprecated Properties 中写了过时的配置。

1.core-site.xml

• 集群全局参数，用于定义系统级别的参数，如 HDFS URL、Hadoop 的临时目录等

  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://node-1:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/export/data/hopdata</value>
    </property>
  </configuration>

2.hdfs-site.xml

• HDFS 参数，如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等

  <configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>node-2:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
  </configuration>

3.mapred-site.xml

• • Mapreduce 参数，包括 JobHistory Server 和应用程序参数两部分，如 reduce 任务的默认个数、任务所能够使用内存的默认上下限等

    <configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>

4.yarn-site.xml

• • 集群资源管理系统参数，配置 ResourceManager，NodeManager 的通信端口，web 监控端口等

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
      <property>
        <!-- 指定 YARN 的主机 (ResourceManager) 的地址 -->
        <name>yarn.resourcemanager.hostname</name>
        <value>node-1</value>
      </property>
      <property>
        <!--nodeManager 上运行的附属服务，需要配置成 maperduce_shuffle，才可用 MapReduce 程序 -->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    </configuration>

     

更多 Hadoop 相关信息见Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13

：