Hadoop学习教程(四) —- Hadoop集群

共计 3066 个字符，预计需要花费 8 分钟才能阅读完成。

下面就跟着笔者开始配置 Hadoop 集群吧。

hosts 文件和 SSH 免密码登录配置好了之后，现在进入 Hadoop 安装目录，修改一些配置文件，修改配置还是相对简单的，一下是需要修改的文件内容 (当然这里只是学习时的配置，更加深入的配置笔者也不会了)，四台机相同配置，以下是一些修改的文件( 红色为修改部分)：

conf/hadoop-env.sh:

export Java_HOME=/usr/local/java/jdk1.6.0_45   ## 原本是注释的，解开注释，修改一下路径即可

conf/core-site.xml:

<?xml version=”1.0″?>

<?xml-stylesheet type=”text/xsl” href=”https://www.linuxidc.com/Linux/2016-08/configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>

<!– 用户 DFS 命令模块中指定默认的文件系统协议 –>
<name>fs.default.name</name>
<value>hdfs://hadoop.master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/temp</value>
</property>
</configuration>

conf/hdfs-site.xml：

<?xml version=”1.0″?>

<?xml-stylesheet type=”text/xsl” href=”https://www.linuxidc.com/Linux/2016-08/configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>
<!– 默认 Block 副本数，设置为副节点个数，这里为 3 个 –>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

conf/mapred-site.xml(配置 JobTracker):

<?xml version=”1.0″?>

<?xml-stylesheet type=”text/xsl” href=”https://www.linuxidc.com/Linux/2016-08/configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop.master:9001</value>
</property>
</configuration>

conf/masters(填写主节点主机名即可):

hadoop.master

conf/slaves(填写从节点主机名，一行一个):

hadoop.slave1

hadoop.slave2

hadoop.slave3

至此，配置已经修改完了，接下来是启动。在首次启动之前，先格式化 NameNode，之后启动就不需要格式化了，命令如下：

hadoop namenode -format

接下来，启动 Hadoop 集群：

start-all.sh

启动后截图如下：

在启动过程中由于配置了 SSH 免密码登录，是不会询问 slaves 机器上的密码的。

集群测试：

接下来我们运行一下 hadoop-example.jar 中自带的 wordCount 程序，用户统计单词出现次数，步骤如下：

1. 新建一个 test.txt, 内容可自行填写:

2. 在 HDFS 系统中创建一个文件夹 input，命令如下：

hadoop fs -mkdir /user/hadoop/input1

3. 上传刚刚创建的 test.txt 至 HDFS 系统中的 input 文件夹，命令如下：
hadoop fs -put /usr/local/hadoop/test.txt /user/hadoop/input1/

4. 查看文件是否已经上传至 HDFS 中，命令如下:

hadoop fs -ls /user/hadoop/input1/

5. 运行 hadoop-example.jar，命令如下：

cd /usr/local/hadoop

hadoop -jar hadoop-example-1.2.1.jar wordcount /user/hadoop/input1/test.txt /user/hadoop/output1

6. 过程截图：

7. 运行完毕后，可以查看结果了，键入以下命令，结果截图也在下面：

hadoop fs -text /user/hadoop/output1/part-r-00000

OK！至此 Hadoop 集群就安装结束了，而且也测试过了，就先写到这里了。

全部系列见：http://www.linuxidc.com/search.aspx?where=nkey&keyword=44572

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop HA 高可用集群部署搭建  http://www.linuxidc.com/Linux/2016-08/134187.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13