一台x86计算机搭建Hadoop的全分布式集群

共计 4470 个字符，预计需要花费 12 分钟才能阅读完成。

基本的软硬件配置：

x86 台式机，Windows 7 64 位系统

vb 虚拟机 (x86 的台式机至少是 4G 内存，才能开 3 台虚机)

CentOS6.4 操作系统

Hadoop-1.1.2.tar.gz

jdk-6u24-linux-i586.bin

WinScp 远程文件传输工具，很好用。可以用于 windows 和虚拟机 Linux 之间文件相互拷贝。

一、root 下的配置

a) 修改主机名：vi /etc/sysconfig/network

Master,slave1,slave2

b) 解析 Ip: vi /etc/hosts

192.168.8.100 master

192.168.8.101 slave1

192.168.8.102 slave2

c) 调试网络：

采用网桥连接网络，配置网络。

修改后记得调用 service network restart

确保三台虚拟机能够相互 ping 通。

d) 关闭防火墙

查看：service iptables status

关闭：service iptables stop

查看防火墙有无自启动：

Chkconfig –-list | grepiptables

关闭自启动：

Chkconfig iptables off

二、yao 用户下的配置

a) 创建用户 yao, 设置密码，进入用户

useradd yao

passwd 123456

b) master 创建公私秘钥

ssh-keygen –t rsa

1) 将 id_rsa.pub 复制给 authorized_keys

Cp id_rsa.pub authorized_keys

2) 将 master 中的 authorized_keys 复制给 slave1 的 /home 下

scp id_rsa.pub root@192.168.8.101:/home

3) 将 master 拷贝过来的 authorized_keys 复制到 slave1 本身所创的 authorized_keys 下，同理 slave2 的也是。最后达到任一个 authorized_keys 中都包含所有机组的公钥。

4) 将 hadoop 拷贝复制到对应的机子中 /home/yao/Documents/

在 root 下配置环境变量：vi /etc/profile

export HADOOP_HOME=/home/yao/Documents/hadoop

export HADOOP_HOME_WARN_SUPPRESS=1

export PATH=.:$PATH:$HADOOP_HOME

注：su + 用户名实现切换用户。

5）安装 jdk, 解压时需要授权;

Chmod u+x jdk。。。

解压。

配置环境变量：vi /etc/profile

6）修改 /hadoop/conf 下的配置文件

修改 core-site.xml

修改 hdfs-site.xml

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2014-05/102533p2.htm

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

三、拷贝 Hadoop

上述 master 中的 hadoop 配置基本完成了，由于 namenode 节点上的 hadoop 配置是相同的，所以现在将 master 上的 hadoop 分别拷贝到 slave1 和 slave2 上。

命令：

Scp -r ./hadoop yao@slave1：/home/yao/

Scp -r ./hadoop yao@slave2：/home/yao/

拷贝完成后，在 master 机器上 hadoop 目录下执行：

格式化：Bin/hadoop namenode -format

下一步，执行启动：

Bin/start-all.sh

在 slave1 中，输入 jps：

类似的在 slave2 中，输入 jps，也能得到同样的结果:

总结：

配置这种全分布式的 hadoop 集群，分为几个步骤：

1）配置 Hosts 文件

2）建立 Hadoop 运行账号

3）配置 ssh 免密码连入

4）下载并解压 hadoop 安装包

5）配置 namenode, 修改 site 文件

6）配置 hadoop-env.sh

7）配置 masters, 和 slaves 文件

8）向个节点复制 hadoop

9）格式化 namenode

10）启动 hadoop

11）用 jps 检验各后台进程是否成功启动

注：不能眼高手低，从装机开始，每一步都会遇到各种各样的问题需要解决。这是个熟悉指令和 hadoop 文件机制的过程。

伪分布式

伪分布式的搭建是非常简单的，因为它是单一的节点，上述步骤只需要：

1）建立 Hadoop 运行账号

2）配置 ssh 免密码连入（单一节点，只要将 id_rsa.pub 复制到 authorized_keys 中就能实现自身免密码）

3）下载并解压 hadoop 安装包

4）下载 jdk，并解压安装

5）修改 site 文件

6）配置 hadoop-env.sh

7）格式化 namenode

8）启动 hadoop

9）用 jps 检验各后台进程是否成功启动

OK, 基本上理解 hadoop 搭建的过程，伪分布和全分布都是很简单的。

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

基本的软硬件配置：

x86 台式机，Windows 7 64 位系统

vb 虚拟机 (x86 的台式机至少是 4G 内存，才能开 3 台虚机)

CentOS6.4 操作系统

Hadoop-1.1.2.tar.gz

jdk-6u24-linux-i586.bin

WinScp 远程文件传输工具，很好用。可以用于 windows 和虚拟机 Linux 之间文件相互拷贝。

一、root 下的配置

a) 修改主机名：vi /etc/sysconfig/network

Master,slave1,slave2

b) 解析 Ip: vi /etc/hosts

192.168.8.100 master

192.168.8.101 slave1

192.168.8.102 slave2

c) 调试网络：

采用网桥连接网络，配置网络。

修改后记得调用 service network restart

确保三台虚拟机能够相互 ping 通。

d) 关闭防火墙

查看：service iptables status

关闭：service iptables stop

查看防火墙有无自启动：

Chkconfig –-list | grepiptables

关闭自启动：

Chkconfig iptables off

二、yao 用户下的配置

a) 创建用户 yao, 设置密码，进入用户

useradd yao

passwd 123456

b) master 创建公私秘钥

ssh-keygen –t rsa

1) 将 id_rsa.pub 复制给 authorized_keys

Cp id_rsa.pub authorized_keys

2) 将 master 中的 authorized_keys 复制给 slave1 的 /home 下

scp id_rsa.pub root@192.168.8.101:/home

3) 将 master 拷贝过来的 authorized_keys 复制到 slave1 本身所创的 authorized_keys 下，同理 slave2 的也是。最后达到任一个 authorized_keys 中都包含所有机组的公钥。

4) 将 hadoop 拷贝复制到对应的机子中 /home/yao/Documents/

在 root 下配置环境变量：vi /etc/profile

export HADOOP_HOME=/home/yao/Documents/hadoop

export HADOOP_HOME_WARN_SUPPRESS=1

export PATH=.:$PATH:$HADOOP_HOME

注：su + 用户名实现切换用户。

5）安装 jdk, 解压时需要授权;

Chmod u+x jdk。。。

解压。

配置环境变量：vi /etc/profile

6）修改 /hadoop/conf 下的配置文件

修改 core-site.xml

修改 hdfs-site.xml

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2014-05/102533p2.htm

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–