共计 6466 个字符，预计需要花费 17 分钟才能阅读完成。
鉴于部分网友在搭建 Hadoop2.2.0 过程中遇到各种各样的问题，特记录本人搭建集群环境，以作参考。
环境：
1、虚拟机：VMware® Workstation，版本：10.0.0
2、操作系统：Ubuntu-13.10
3、hadoop 版本：hadoop-2.2.0 下载地址
4、jdk1.6.0_45
5、本文所用两台机器分工如下：
| hostname | user | ip | functions |
| master | hadoop | 192.168.234.128 | NameNode/SecondaryNameNode/ResouceManager |
| slave1 | hadoop | 192.168.234.129 | DataNode/NodeManager |
6、登陆工具：SecureCRT Version 6.2.0
7、开发工具：eclipse-kepler
环境配置步骤：
1、安装 jdk，并配置环境变量：
vi /etc/profile
加入下列几行（本文 java 安装路径为：/usr/local/java/）：
export JAVA_HOME=/usr/local/java/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/lib.tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
保存后输入：source /etc/profile 以使其生效。
验证：输入：java -version
2、安装 ssh
sudo apt-get install ssh
设置 local 无密码登陆
安装完成后会在当前用户主目录，即这里的 /home/hadoop 下产生一个隐藏文件夹.ssh（ll 或者 ls -a 命令可以查看隐藏文件）。如果没有这个文件，自己新建即可，命令为：mkdir .ssh。
具体步骤如下：
2.1、进入.ssh 文件夹
2.2、ssh-keygen -t rsa 之后一路回 车（产生秘钥）
2.3、把 id_rsa.pub 追加到授权的 key 里面去（cat id_rsa.pub >> authorized_keys）
2.4、重启 SSH 服 务命令使其生效 :service sshd restart（这里 RedHat 下为 sshdUbuntu 下为 ssh）
此时已经可以进行 ssh localhost 的无密码登陆
相关阅读 ：
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm
3、修改主机名（hostname）、hosts
vi /etc/hostname
改为：master
vi /etc/hosts
如下图所示：
4、关闭防火墙：
ufw disable
5、安装 Hadoop2.2.0
本文将下载的 hadoop-2.2.tar.gz 解压到了 /home/hadoop 路径下
5.1 在 master 本地文件系统创建以下文件夹：
~/dfs/name
~/dfs/data
~/temp
5.2 修改 hadoop 配置文件
1）hadoop-env.sh
修改 JAVA_HOME 值：
export JAVA_HOME=/usr/local/java/jdk1.6.0_45
2）、yarn-env.sh
修改 JAVA_HOME 值：
export JAVA_HOME=/usr/local/java/jdk1.6.0_45
3）、slaves
加入：slave1
4）、core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/temp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
</configuration>
鉴于部分网友在搭建 Hadoop2.2.0 过程中遇到各种各样的问题，特记录本人搭建集群环境，以作参考。
环境：
1、虚拟机：VMware® Workstation，版本：10.0.0
2、操作系统：Ubuntu-13.10
3、hadoop 版本：hadoop-2.2.0 下载地址
4、jdk1.6.0_45
5、本文所用两台机器分工如下：
| hostname | user | ip | functions |
| master | hadoop | 192.168.234.128 | NameNode/SecondaryNameNode/ResouceManager |
| slave1 | hadoop | 192.168.234.129 | DataNode/NodeManager |
6、登陆工具：SecureCRT Version 6.2.0
7、开发工具：eclipse-kepler
环境配置步骤：
1、安装 jdk，并配置环境变量：
vi /etc/profile
加入下列几行（本文 java 安装路径为：/usr/local/java/）：
export JAVA_HOME=/usr/local/java/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/lib.tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
保存后输入：source /etc/profile 以使其生效。
验证：输入：java -version
2、安装 ssh
sudo apt-get install ssh
设置 local 无密码登陆
安装完成后会在当前用户主目录，即这里的 /home/hadoop 下产生一个隐藏文件夹.ssh（ll 或者 ls -a 命令可以查看隐藏文件）。如果没有这个文件，自己新建即可，命令为：mkdir .ssh。
具体步骤如下：
2.1、进入.ssh 文件夹
2.2、ssh-keygen -t rsa 之后一路回 车（产生秘钥）
2.3、把 id_rsa.pub 追加到授权的 key 里面去（cat id_rsa.pub >> authorized_keys）
2.4、重启 SSH 服 务命令使其生效 :service sshd restart（这里 RedHat 下为 sshdUbuntu 下为 ssh）
此时已经可以进行 ssh localhost 的无密码登陆
相关阅读 ：
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm
5）、hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/Hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
6）、mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
7）、yarn-site.xml
<configuration>
<!– Site specific YARN configuration properties –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
6、克隆
Hadoop 集群中每个机器上面的配置基本相同，所以我们先在 namenode 上面进行配置部署，然后再复制到其他机器，然后稍作修改即可。
修改 slave1 的 hostname：slave1
7、启动验证
7.1 启动 hadoop
进入安装目录：cd ~/hadoop-2.2.0/
格式化 namenode：./bin/hdfs namenode –format
启动 hdfs: ./sbin/start-dfs.sh
查看 java 进程命令：jps
此时在 master 上面运行的进程有：
namenode
secondarynamenode
slave1 上面运行的进程有：datanode
启动 yarn: ./sbin/start-yarn.sh
此时在 master 上面运行的进程有：
namenode
secondarynamenode
resourcemanager
slave1 上面运行的进程有：
datanode
nodemanaget
查看集群状态：./bin/hdfs dfsadmin –report
查看文件块组成：./bin/hdfsfsck / -files -blocks
查看 HDFS: http://master:50070
相关阅读 ：
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
