阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu 14.04下Hadoop2.4.1集群安装配置教程

242次阅读
没有评论

共计 10475 个字符,预计需要花费 27 分钟才能阅读完成。

本教程基于 Hadoop 2.4.1,但应该适用于所有 2.x 版本。我在 Ubuntu 下多次安装过,按照本教程一般都可以配置成功。本教程只是基础的安装配置,更多功能、配置、技巧就需要各位自行探索了。

环境

  • 系统: Ubuntu 14.04 64bit
  • Hadoop 版本: hadoop 2.4.1 (stable)
  • JDK 版本: OpenJDK 7
  • 集群环境: 两台主机,一台作为 Master,局域网 IP 为 192.168.1.121;另一台作为 Slave,局域网 IP 为 192.168.1.122.

准备工作

先按照教程 Hadoop 安装教程 2.4.1 单机 / 伪分布式配置(见 http://www.linuxidc.com/Linux/2015-02/113487.htm),在 所有机器上 配置 hadoop 用户、安装 SSH server、安装 Java 环境,在 Master 主机 上安装 Hadoop。

Hadoop 的安装配置只需要在 Master 节点主机上进行,配置好后再复制到各个节点

建议先按照上面的教程在 Master 主机上安装一次单机环境的 Hadoop,如果直接上手集群,在 Master 主机上安装 Hadoop 时,要记得修改 hadoop 文件的权限。

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

网络配置

我使用了两台主机搭建集群,主机名与 IP 地址对应如下:

Master 192.168.1.121
Slave1 192.168.1.122

首先选定哪台主机要作为 Master(比如我选择的是 ip 为 192.168.1.121 这台),然后在该主机的 /etc/hostname 中,修改机器名为 Master,将其他主机命令为 Slave1、Slave2 等。接着在 /etc/hosts 中,把所有集群的主机信息都写进去。

sudo vim /etc/hostname
sudo vim /etc/hosts

完成后,如下图所示(/etc/hosts 中只能有一个 127.0.0.1,对应为 localhost,否则会出错)。最好重启一下,在终端中才会看到机器名的变化。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程Hadoop 中的 hosts 设置

注意,该网络配置需要在所有主机上进行

如上面讲的是 Master 主机的配置,而在其他的 Slave 主机上,也要对 /etc/hostname(修改为 Slave1、Slave2 等)和 /etc/hosts(一般跟 Master 上的配置一样)这两个文件进行相应的修改!

配置好后可以在各个主机上执行 ping Masterping Slave1测试一下,看是否相互 ping 得通。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程ping

SSH 无密码登陆节点

这个操作是要让 Master 节点可以无密码 SSH 登陆到 Slave 节点上。

首先生成 Master 的公匙,在 Master 节点终端中执行:

cd ~/.ssh                      # 如果没有该目录,先执行一次 ssh localhost
ssh-keygen -t rsa              # 一直按回车就可以,生成的密钥保存为.ssh/id_rsa

Master 节点需能无密码 ssh 本机,这一步还是在 Master 节点上执行:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

完成后可以使用 ssh Master 验证一下。接着将公匙传输到 Slave1 节点:

scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

scp 时会要求输入 Slave1 上 hadoop 用户的密码(hadoop),输入完成后会提示传输完毕。

接着在 Slave1 节点 上将 ssh 公匙保存到相应位置,执行

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

如果有其他 Slave 节点,也要执行 将公匙传输到 Slave 节点、在 Slave 节点上加入授权 这两步。

最后在 Master 节点上就可以无密码 SSH 到 Slave1 节点了。

ssh Slave1

配置集群 / 分布式环境

集群 / 分布式模式需要修改 etc/hadoop 中的 5 个配置文件,后四个文件可点击查看官方默认设置值,这里仅设置了正常启动所必须的设置项:slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

1, 文件 slave

cd /usr/local/hadoop/etc/hadoop
vim slaves

将原来 localhost 删除,把所有 Slave 的主机名写上,每行一个。例如我只有一个 Slave 节点,那么该文件中就只有一行内容:Slave1。

2, 文件 core-site.xml,将原本的如下内容:

<property>
</property>

改为下面的配置。后面的配置文件的修改类似。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>

3, 文件 hdfs-site.xml,因为只有一个 Slave,所以dfs.replication 的值设为 1。

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:50090</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

4, 文件mapred-site.xml,这个文件不存在,首先需要从模板中复制一份:

cp mapred-site.xml.template mapred-site.xml 

然后配置修改如下:

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5, 文件yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

配置好后,将 Master 上的 Hadoop 文件复制到各个节点上(虽然直接采用 scp 复制也可以正确运行,但会有所不同,如符号链接 scp 过去后就有点不一样了。所以先打包再复制比较稳妥)。

cd /usr/local
sudo tar -zcf ./hadoop.tar.gz ./hadoop
scp ./hadoop.tar.gz Slave1:/home/hadoop

Slave1 上执行:

sudo tar -zxf ~/hadoop.tar.gz -C /usr/local
sudo chown -R hadoop:hadoop /usr/local/hadoop

如果之前有跑过伪分布式模式,建议切换到集群模式前先删除之前的临时文件:

rm -r /usr/local/hadoop/tmp
切换 Hadoop 模式应删除之前的临时文件

切换 Hadoop 的模式,不管是从集群切换到伪分布式,还是从伪分布式切换到集群,如果遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹(未验证)。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 tmp 文件夹,重新执行一次 bin/hdfs namenode -format,再次启动试试。

然后在 Master 节点 上就可以启动 hadoop 了。

cd /usr/local/hadoop/
bin/hdfs namenode -format       # 首次运行需要执行初始化,后面不再需要
sbin/start-dfs.sh
sbin/start-yarn.sh

通过命令 jps 可以查看各个节点所启动的进程。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程通过 jps 查看 Master 的 Hadoop 进程

可以看到 Master 节点启动了 NameNodeSecondrryNameNodeResourceManager 进程。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程通过 jps 查看 Slave 的 Hadoop 进程

Slave 节点则启动了 DataNodeNodeManager进程。

另外也可以在 Master 节点 上通过命令 bin/hdfs dfsadmin -report 查看 DataNode 是否正常启动。例如我这边一共有 1 个 Datanodes。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程通过 dfsadmin 查看 DataNode 的状态

通过查看启动日志分析启动失败原因

有时 Hadoop 集群无法正确启动,如 Master 上的 NameNode 进程没有顺利启动,这时可以查看启动日志来排查原因,不过新手可能需要注意几点:

  • 启动时会提示“Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”,但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log 中;
  • 每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,这个看下记录的时间就知道了。
  • 一般出错的提示在最后面,也就是写着 Error 或者 Java 异常的地方。

也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状态,http://master:50070/

关闭 Hadoop 集群也是在 Master 节点上执行:

sbin/stop-dfs.sh
sbin/stop-yarn.sh

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2015-02/113486p2.htm

执行 WordCount 实例

执行 WordCount 实例过程与伪分布式模式一样。首先创建所需的几个目录

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/Hadoop

将 etc/hadoop 中的文件作为输入文件复制到分布式文件系统中。

bin/hdfs dfs -put etc/hadoop input 

通过查看 DataNode 的状态(占用大小有改变),输入文件确实复制到了 DataNode 中。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程通过 Web 页面查看 DataNode 的状态

接着就可以运行 MapReduce 作业了。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output 'dfs[a-z.]+'

运行时的信息如下所示,显示 Job 的进度。可能会比较慢,但如果迟迟没有进度,比如 10 分钟都没看到进度,那不妨重启 Hadoop 再试试。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程显示 MapReduce Job 的进度

同样可以通过 Web 界面查看任务进度 http://master:8088/cluster

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程通过 Web 页面集群状态和 MapReduce 作业的信息

在 Web 界面点击“Tracking UI”这一列的 History,可能会提示网页无法打开,遇到这种情况需要手动开启 jobhistory server,开启之后刷新页面再点击就可以打开了。

/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

执行完毕后的输出结果:

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程

MapReduce 作业的输出结果

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本教程基于 Hadoop 2.4.1,但应该适用于所有 2.x 版本。我在 Ubuntu 下多次安装过,按照本教程一般都可以配置成功。本教程只是基础的安装配置,更多功能、配置、技巧就需要各位自行探索了。

环境

  • 系统: Ubuntu 14.04 64bit
  • Hadoop 版本: hadoop 2.4.1 (stable)
  • JDK 版本: OpenJDK 7
  • 集群环境: 两台主机,一台作为 Master,局域网 IP 为 192.168.1.121;另一台作为 Slave,局域网 IP 为 192.168.1.122.

准备工作

先按照教程 Hadoop 安装教程 2.4.1 单机 / 伪分布式配置(见 http://www.linuxidc.com/Linux/2015-02/113487.htm),在 所有机器上 配置 hadoop 用户、安装 SSH server、安装 Java 环境,在 Master 主机 上安装 Hadoop。

Hadoop 的安装配置只需要在 Master 节点主机上进行,配置好后再复制到各个节点

建议先按照上面的教程在 Master 主机上安装一次单机环境的 Hadoop,如果直接上手集群,在 Master 主机上安装 Hadoop 时,要记得修改 hadoop 文件的权限。

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

网络配置

我使用了两台主机搭建集群,主机名与 IP 地址对应如下:

Master 192.168.1.121
Slave1 192.168.1.122

首先选定哪台主机要作为 Master(比如我选择的是 ip 为 192.168.1.121 这台),然后在该主机的 /etc/hostname 中,修改机器名为 Master,将其他主机命令为 Slave1、Slave2 等。接着在 /etc/hosts 中,把所有集群的主机信息都写进去。

sudo vim /etc/hostname
sudo vim /etc/hosts

完成后,如下图所示(/etc/hosts 中只能有一个 127.0.0.1,对应为 localhost,否则会出错)。最好重启一下,在终端中才会看到机器名的变化。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程Hadoop 中的 hosts 设置

注意,该网络配置需要在所有主机上进行

如上面讲的是 Master 主机的配置,而在其他的 Slave 主机上,也要对 /etc/hostname(修改为 Slave1、Slave2 等)和 /etc/hosts(一般跟 Master 上的配置一样)这两个文件进行相应的修改!

配置好后可以在各个主机上执行 ping Masterping Slave1测试一下,看是否相互 ping 得通。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程ping

SSH 无密码登陆节点

这个操作是要让 Master 节点可以无密码 SSH 登陆到 Slave 节点上。

首先生成 Master 的公匙,在 Master 节点终端中执行:

cd ~/.ssh                      # 如果没有该目录,先执行一次 ssh localhost
ssh-keygen -t rsa              # 一直按回车就可以,生成的密钥保存为.ssh/id_rsa

Master 节点需能无密码 ssh 本机,这一步还是在 Master 节点上执行:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

完成后可以使用 ssh Master 验证一下。接着将公匙传输到 Slave1 节点:

scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

scp 时会要求输入 Slave1 上 hadoop 用户的密码(hadoop),输入完成后会提示传输完毕。

接着在 Slave1 节点 上将 ssh 公匙保存到相应位置,执行

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

如果有其他 Slave 节点,也要执行 将公匙传输到 Slave 节点、在 Slave 节点上加入授权 这两步。

最后在 Master 节点上就可以无密码 SSH 到 Slave1 节点了。

ssh Slave1

配置集群 / 分布式环境

集群 / 分布式模式需要修改 etc/hadoop 中的 5 个配置文件,后四个文件可点击查看官方默认设置值,这里仅设置了正常启动所必须的设置项:slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

1, 文件 slave

cd /usr/local/hadoop/etc/hadoop
vim slaves

将原来 localhost 删除,把所有 Slave 的主机名写上,每行一个。例如我只有一个 Slave 节点,那么该文件中就只有一行内容:Slave1。

2, 文件 core-site.xml,将原本的如下内容:

<property>
</property>

改为下面的配置。后面的配置文件的修改类似。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>

3, 文件 hdfs-site.xml,因为只有一个 Slave,所以dfs.replication 的值设为 1。

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:50090</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

4, 文件mapred-site.xml,这个文件不存在,首先需要从模板中复制一份:

cp mapred-site.xml.template mapred-site.xml 

然后配置修改如下:

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5, 文件yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

配置好后,将 Master 上的 Hadoop 文件复制到各个节点上(虽然直接采用 scp 复制也可以正确运行,但会有所不同,如符号链接 scp 过去后就有点不一样了。所以先打包再复制比较稳妥)。

cd /usr/local
sudo tar -zcf ./hadoop.tar.gz ./hadoop
scp ./hadoop.tar.gz Slave1:/home/hadoop

Slave1 上执行:

sudo tar -zxf ~/hadoop.tar.gz -C /usr/local
sudo chown -R hadoop:hadoop /usr/local/hadoop

如果之前有跑过伪分布式模式,建议切换到集群模式前先删除之前的临时文件:

rm -r /usr/local/hadoop/tmp
切换 Hadoop 模式应删除之前的临时文件

切换 Hadoop 的模式,不管是从集群切换到伪分布式,还是从伪分布式切换到集群,如果遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹(未验证)。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 tmp 文件夹,重新执行一次 bin/hdfs namenode -format,再次启动试试。

然后在 Master 节点 上就可以启动 hadoop 了。

cd /usr/local/hadoop/
bin/hdfs namenode -format       # 首次运行需要执行初始化,后面不再需要
sbin/start-dfs.sh
sbin/start-yarn.sh

通过命令 jps 可以查看各个节点所启动的进程。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程通过 jps 查看 Master 的 Hadoop 进程

可以看到 Master 节点启动了 NameNodeSecondrryNameNodeResourceManager 进程。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程通过 jps 查看 Slave 的 Hadoop 进程

Slave 节点则启动了 DataNodeNodeManager进程。

另外也可以在 Master 节点 上通过命令 bin/hdfs dfsadmin -report 查看 DataNode 是否正常启动。例如我这边一共有 1 个 Datanodes。

Ubuntu 14.04 下 Hadoop2.4.1 集群安装配置教程通过 dfsadmin 查看 DataNode 的状态

通过查看启动日志分析启动失败原因

有时 Hadoop 集群无法正确启动,如 Master 上的 NameNode 进程没有顺利启动,这时可以查看启动日志来排查原因,不过新手可能需要注意几点:

  • 启动时会提示“Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”,但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log 中;
  • 每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,这个看下记录的时间就知道了。
  • 一般出错的提示在最后面,也就是写着 Error 或者 Java 异常的地方。

也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状态,http://master:50070/

关闭 Hadoop 集群也是在 Master 节点上执行:

sbin/stop-dfs.sh
sbin/stop-yarn.sh

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2015-02/113486p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计10475字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中