CentOS 6.9下Hadoop伪分布式环境搭建

134次阅读

共计 3962 个字符，预计需要花费 10 分钟才能阅读完成。

环境：CentOS6.9+jdk+Hadoop

1. 下载 hadoop 的 tar 包，这里以 hadoop2.6.5 版本为例，下载地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz

2. 修改 linux 虚拟机的主机名为 hadoop01.zjl.com
# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop01.zjl.com

3. 配置主机名和 IP 地址的映射
# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.131 hadoop01.zjl.com hadoop01

4. 重启虚拟机，是步骤 2、3 的配置生效
# reboot

5. 在物理机的 hosts 文件中配置 192.168.0.131 hadoop01.zjl.com hadoop01，我的物理机是 win10 64 位操作系统，hosts 文件的位置是 C:\Windows\System32\drivers\etc\hosts

6.（1）执行# rpm -qa|grep java，发现虚拟机中没装过 jdk，如果装过可以用# rpm -e –nodeps 来卸载
（2）jdk 安装包没有执行权限
# ll jdk-8u131-linux-x64.tar.gz
-rw-rw-r–. 1 hadoop hadoop 185540433 May 20 22:57 /opt/softwares/jdk-8u131-linux-x64.tar.gz
（3）给安装包授予执行权限
$ chmod u+x jdk-8u131-linux-x64.tar.gz
（4）解压安装
$ tar -zxvf jdk-8u131-linux-x64.tar.gz -C /opt/modules/

7. 配置环境变量
# vi /etc/profile
# set java environment
export JAVA_HOME=/opt/modules/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
使环境变量的配置生效
# source /etc/profile
jdk 配置没问题了
# java -version
java version “1.8.0_131”
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
8. 解压 hadoop 安装包
$ tar -zxvf hadoop-2.6.5.tar.gz -C /opt/modules/

9. 在 etc/hadoop/hadoop-env.sh 文件中设置 JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.8.0_131

10. 默认情况下，Hadoop 配置为以非分布式模式运行，作为单个 Java 进程，
本地模式：mapreduce 程序运行在本地，只需启动 JVM
以下示例复制未打包的 conf 目录以用作输入，然后查找并显示给定正则表达式的每个匹配项。输出被写入给定的输出目录。
$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar grep input output ‘dfs[a-z.]+’
$ cat output/*
依次执行上述命令后如果没有报错，且 cat output/* 命令的结果为 1 dfsadmin，则说明 mapreduce 程序运行成功

11.hadoop xml 配置
etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<!– 如果没有配置，默认会从本地文件系统读取数据, 步骤 11 就是读取本地文件系统的数据 –>
<value>hdfs://hadoop01.zjl.com:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.6.5/data/tmp</value>
</property>
</configuration>
[hadoop@hadoop01 hadoop-2.6.5]$ mkdir -p data/tmp
etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

12. 执行
（1）格式化文件系统：
[hadoop@hadoop01 hadoop-2.6.5]$ bin/hdfs namenode -format
（2）启动 NameNode 守护进程和 DataNode 守护进程：
[hadoop@hadoop01 hadoop-2.6.5]$ sbin/start-dfs.sh
（3）执行 jps 命令查询 java 守护进程，若出现 NameNode，DataNode，SecondaryNameNode，则启动成功
[hadoop@hadoop01 hadoop-2.6.5]$ jps
5296 Jps
4902 NameNode
5016 DataNode
5178 SecondaryNameNode
（4）在浏览器地址栏输入 http://hadoop01.zjl.com:50070, 回车，出现下图所示页面

CentOS 6.9 下 Hadoop 伪分布式环境搭建

13. 单节点上的 YARN 的配置
（1）在 etc/hadoop/yarn-env.sh 文件中配置 export JAVA_HOME=/opt/modules/jdk1.8.0_131
（2）
etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01.zjl.com</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

（3）将 etc/hadoop/slaves 文件中的 localhost 换成主机名 hadoop01.zjl.com
（4）启动 ResourceManager 守护程序和 NodeManager 守护程序：
[hadoop@hadoop01 hadoop-2.6.5]$ sbin/start-yarn.sh
执行 jps 命令，出现了 NodeManager 和 NameNode 进程，说明 yarn 启动成功
[hadoop@hadoop01 hadoop-2.6.5]$ jps
6851 NodeManager
4902 NameNode
7158 Jps
5016 DataNode
5178 SecondaryNameNode
6763 ResourceManager
（5）在浏览器地址栏输入 http://hadoop01.zjl.com:8088/cluster，回车，出现下图所示页面

CentOS 6.9 下 Hadoop 伪分布式环境搭建

14. 使 Mapreduce 能够在 yarn 上运行

（1）在 etc/hadoop/mapred-env.sh 文件中配置 export JAVA_HOME=/opt/modules/jdk1.8.0_131

（2）将 etc/hadoop/mapred-site.xml.template 重命名为 mapred-site.xml，添加配置
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

Hadoop2.3-HA 高可用集群环境搭建 http://www.linuxidc.com/Linux/2017-03/142155.htm

Hadoop 项目之基于 CentOS7 的 Cloudera 5.10.1（CDH）的安装部署 http://www.linuxidc.com/Linux/2017-04/143095.htm

Hadoop2.7.2 集群搭建详解（高可用）http://www.linuxidc.com/Linux/2017-03/142052.htm

使用 Ambari 来部署 Hadoop 集群（搭建内网 HDP 源）http://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu 14.04 下 Hadoop 集群安装 http://www.linuxidc.com/Linux/2017-02/140783.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址：http://www.linuxidc.com/Linux/2017-06/144884.htm

正文完

星哥说事-微信公众号