Linux中单机配置Hadoop

共计 18767 个字符，预计需要花费 47 分钟才能阅读完成。

Ubuntu:

一、安装 Java。

首先安装 java。因为 Ubuntu 里面默认安装了 OpenJDK, 可以先将其卸载。在终端输入命令：sudo apt-get purge openjdk*。

1、从 sun 主页下载 JDK for linux 版本。我下载的是 jdk-6u37-linux-i586.bin。下载地址： 点击打开

2、切换到 root 用户并切换到想要安装的目录。我的安装目录为 /usr/lib/jvm/java。将下载的文件拷贝到此目录中。并使用命令：chmod a+x jdk-6u37-linux-i586.bin 将此文件权限设置为可执行类型。

3、开始安装。在终端输入：./jdk-6u37-linux-i586.bin，接下来会进行安装过程。安装过程中会提示按 Enter 键继续。

4、安装完成后，会出现 Done。表示完成了 java 环境的安装。安装的位置为当前目录 /usr/java。当然，也可以选择其他的位置。

5、安装完成后，直接在终端输入 java 会出错。此时还需要配置环境变量。如果只使用 export 命令则支队当前 shell 起作用。如果切换 shell 或重启则依旧会失效。可以选择配置.bashr 文件或 /etc/profile，后者修改系统配置文件，对所有用户均有效。

6、使用 vim 打开 /etc/profile 文件。在末尾添加如下内容：

export JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_37
export JRE_HOME=/usr/lib/jvm/java/jdk1.6.0_37/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

（ 注： 注意一定不要错误，否则有可能重启后无法进入系统，如果由于输入错误，导致开机之后只有空白的界面，按 ctrl+Alt+F1 进入 tty1 命令行界面，输入命令：sudo vim /etc/profile 检查刚刚的配置是否有错误的地方，改正后重启即可。 注意 export 命令 = 两边没有空格。）

 

7、 保存后重新启动计算机。

（ 注： 网上有资料说可以使用 source 更新一下。在终端输入命令：source /etc/profile。经本人测试，这种方法会导致只在一个终端中有效，如果打开新的终端会 java 配置会失效，除非再次使用 source 命令更新。）

8、使用 env 命令查看各环境变量的值。如果各项变量内容都与之前配置的相同，则说明配置成功。也可使用 java -version 命令察看。如果能输出 java version “1.6.0_37″ 则表明配置正确。

二、创建 Hadoop 组和 Hadoop 用户。

1、创建 hadoop 用户组：sudo addgroup hadoop

2、创建 hadoop 用户：sudo adduser -ingroup hadoop hadoopusr。过程中会要求你输入密码和用户信息。输入用户信息的时候，可直接点 Enter（表示默认）。最后输入 y。

3、给刚新建的 hadoop 用户 hadoopusr 添加权限，打开 /etc/sudoers 文件。输入命令：sudo gedit /etc/sudoers。给 hadoopusr 赋予 root 用户同样的权限。在文件末尾添加如下信息：

root    ALL=(ALL:ALL)  ALL
hadoopusr  ALL=(ALL:ALL)  ALL

 

三、安装 ssh 服务

ssh 可以实现远程登录和管理，具体可以参考其他相关资料。

输入命令：sudo apt-get install ssh openssh-server，安装 openssh-server。

如果你已经安装好了 ssh，可以直接进行下一步。

四、建立 ssh 无密码登录本机

首先要转换成 hadoop 用户，执行以下命令：su – hadoopusr，再输入密码即可。

ssh 生成密钥有 rsa 和 dsa 两种生成方式，默认情况下采用 rsa 方式。

1、创建 ssh-key，我们采用 rsa 方式。输入命令：ssh-keygen -t rsa -P “”

输入命令后会出现提示信息：“Enter file in which to save the key (/home/hadoopusr/.ssh/id_rsa):”，直接点回车即可。出现如下信息：

Created directory '/home/hadoopusr/.ssh'.
Your identification has been saved in /home/hadoopusr/.ssh/id_rsa.
Your public key has been saved in /home/hadoopusr/.ssh/id_rsa.pub.
The key fingerprint is:
d4:29:00:6e:20:f0:d9:c6:a2:9b:cd:22:60:44:af:eb hadoopusr@shan-pc
The key's randomart image is:
+--[RSA 2048]----+
|+.. ...          |
|.o.*   . . .     |
| .+.*   o o      |
|...+   . .       |
|oo      S        |
|o=.              |
|=.o              |
|o.               |
| E               |
+-----------------+

 

（注：回车后会在~/.ssh/ 下生成两个文件：id_rsa 和 id_rsa.pub。这两个文件是成对出现的。）

2、进入~/.ssh/ 目录下，将 id_rsa.pub 追加到 authorized_keys 授权文件中，开始没有 authorized_keys 文件。执行命令：

cd ~/.ssh
cat id_rsa.pub >> authorized_keys

完成后即可无密码登录本机。

3、登录 localhost。在终端输入命令：ssh localhost

(注：当 ssh 远程登录到其它机器后，你控制的是远程的机器，需要执行退出命令才能重新控制本地主机。)

4、执行退出命令。输入命令：exit

相关阅读 ：

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm

五、安装 Hadoop。

在 Hadoop 官网下载 Hadoop。本次使用的版本为 1.1.0。在官网下载 hadoop-1.1.0.tar.gz。（注：使用非 root 用户）下载地址： 点击打开

1、假设 hadoop-1.1.0.tar.gz 在桌面，将它复制到安装目录 /usr/local/ 下。执行命令：sudo cp hadoop-0.20.203.0rc1.tar.gz /usr/local/

2、解压 hadoop-1.1.0.tar.gz。执行命令：

cd /usr/local
sudo tar -zxf hadoop-1.1.0.tar.gz

3、将解压出的文件夹改名为 hadoop。执行命令：sudo mv hadoop-1.1.0 hadoop

4、将该 hadoop 文件夹的属主用户设为 hadoopusr。执行命令：sudo chown -R hadoopusr:hadoop hadoop

5、打开 hadoop/conf/hadoop-env.sh 文件。执行命令：sudo gedit hadoop/conf/hadoop-env.sh

6、配置 conf/hadoop-env.sh（找到 #export Java_HOME=…, 去掉 #，然后加上本机 jdk 的路径）：export JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_37

7、打开 conf/core-site.xml 文件。输入命令 sudo gedit hadoop/conf/core-site.xml，修改为：（ 注：如果直接复制此处代码，会有行号。请去掉行号。下同。）

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/Linux/2014-01/configuration.xsl"?>


<!-- Put site-specific property overrides in this file. -->


<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

8. 打开 conf/mapred-site.xml 文件。输入命令：sudo gedit hadoop/conf/mapred-site.xml，修改为：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/Linux/2014-01/configuration.xsl"?>


<!-- Put site-specific property overrides in this file. -->


<configuration>
  <property>     
    <name>mapred.job.tracker</name>    
    <value>localhost:9001</value>     
  </property>
</configuration>

9. 打开 conf/hdfs-site.xml 文件。输入命令：sudo gedit hadoop/conf/hdfs-site.xml，修改为：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/Linux/2014-01/configuration.xsl"?>


<!-- Put site-specific property overrides in this file. -->


<configuration>
  <property> 
    <name>dfs.name.dir</name> 
    <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value> 
  </property> 
  <property> 
    <name>dfs.data.dir</name> 
    <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value> 
  </property> 
  <property> 
    <name>dfs.replication</name> 
    <value>2</value> 
  </property> 
</configuration>

 

10. 打开 conf/masters 文件，添加作为 secondarynamenode 的主机名，作为单机版环境，这里只需填写 localhost 就 Ok 了。sudo gedit hadoop/conf/masters

11. 打开 conf/slaves 文件，添加作为 slave 的主机名，一行一个。作为单机版，这里也只需填写 localhost 就 Ok 了。sudo gedit hadoop/conf/slaves

六、在单机上运行 hadoop

1. 进入 hadoop 目录下，格式化 hdfs 文件系统，初次运行 hadoop 时一定要有该操作，

cd /usr/local/hadoop/

bin/hadoop namenode -format

2. 当你看到如下信息时，就说明你的 hdfs 文件系统格式化成功了。

****************** 省略信息 **********************************/
12/11/19 14:13:14 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/local/hadoop/datalog2/current/edits
12/11/19 14:13:14 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/local/hadoop/datalog2/current/edits
12/11/19 14:13:14 INFO common.Storage: Storage directory /usr/local/hadoop/datalog2 has been successfully formatted.
12/11/19 14:13:14 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at shan-pc/127.0.1.1
************************************************************/

 

 

3、启动 bin/start-all.sh。输入命令：bin/start-all.sh

4、检测 hadoop 是否启动成功。输入命令：jps

如果有 Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker 五个进程，就说明你的 hadoop 单机版环境已经配置完成。

OK，一个 hadoop 的单机版环境已经搭建完成~ 接下来我们运行一个实例测试一下~

七、测试

1、进入 hadoop 目录下（cd /usr/local/hadoop），输入启动命令：bin/start-all.sh。启动 hadoop。

2、输入如下命令执行 wordcount 程序计算过程：

echo “hello world” > /home/hadoopusr/file01
echo “hello hadoop” > /home/hadoopusr/file02
bin/hadoop fs -mkdir input
bin/hadoop fs -copyFromLocal /home/hadoopusr/file0* input
bin/hadoop jar hadoop-examples-1.1.0.jar wordcount input output

hadoopusr@shan-pc:/usr/local/hadoop$ echo "hello world" > /home/hadoopusr/file01
hadoopusr@shan-pc:/usr/local/hadoop$ echo "hello hadoop" > /home/hadoopusr/file02
hadoopusr@shan-pc:/usr/local/hadoop$ bin/hadoop fs -mkdir input
hadoopusr@shan-pc:/usr/local/hadoop$ bin/hadoop fs -copyFromLocal /home/hadoopusr/file0* input
hadoopusr@shan-pc:/usr/local/hadoop$ bin/hadoop jar hadoop-examples-1.1.0.jar wordcount input output
12/11/19 15:34:15 INFO input.FileInputFormat: Total input paths to process : 2
12/11/19 15:34:15 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/11/19 15:34:15 WARN snappy.LoadSnappy: Snappy native library not loaded
12/11/19 15:34:15 INFO mapred.JobClient: Running job: job_201211191500_0006
12/11/19 15:34:16 INFO mapred.JobClient:  map 0% reduce 0%
12/11/19 15:34:21 INFO mapred.JobClient:  map 100% reduce 0%
12/11/19 15:34:29 INFO mapred.JobClient:  map 100% reduce 33%
12/11/19 15:34:30 INFO mapred.JobClient:  map 100% reduce 100%
12/11/19 15:34:31 INFO mapred.JobClient: Job complete: job_201211191500_0006
12/11/19 15:34:31 INFO mapred.JobClient: Counters: 29
12/11/19 15:34:31 INFO mapred.JobClient:   Job Counters 
12/11/19 15:34:31 INFO mapred.JobClient:     Launched reduce tasks=1
12/11/19 15:34:31 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=7520
12/11/19 15:34:31 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/11/19 15:34:31 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/11/19 15:34:31 INFO mapred.JobClient:     Launched map tasks=2
12/11/19 15:34:31 INFO mapred.JobClient:     Data-local map tasks=2
12/11/19 15:34:31 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=9406
12/11/19 15:34:31 INFO mapred.JobClient:   File Output Format Counters 
12/11/19 15:34:31 INFO mapred.JobClient:     Bytes Written=25
12/11/19 15:34:31 INFO mapred.JobClient:   FileSystemCounters
12/11/19 15:34:31 INFO mapred.JobClient:     FILE_BYTES_READ=55
12/11/19 15:34:31 INFO mapred.JobClient:     HDFS_BYTES_READ=253
12/11/19 15:34:31 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=71884
12/11/19 15:34:31 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=25
12/11/19 15:34:31 INFO mapred.JobClient:   File Input Format Counters 
12/11/19 15:34:31 INFO mapred.JobClient:     Bytes Read=25
12/11/19 15:34:31 INFO mapred.JobClient:   Map-Reduce Framework
12/11/19 15:34:31 INFO mapred.JobClient:     Map output materialized bytes=61
12/11/19 15:34:31 INFO mapred.JobClient:     Map input records=2
12/11/19 15:34:31 INFO mapred.JobClient:     Reduce shuffle bytes=61
12/11/19 15:34:31 INFO mapred.JobClient:     Spilled Records=8
12/11/19 15:34:31 INFO mapred.JobClient:     Map output bytes=41
12/11/19 15:34:31 INFO mapred.JobClient:     CPU time spent (ms)=1250
12/11/19 15:34:31 INFO mapred.JobClient:     Total committed heap usage (bytes)=336338944
12/11/19 15:34:31 INFO mapred.JobClient:     Combine input records=4
12/11/19 15:34:31 INFO mapred.JobClient:     SPLIT_RAW_BYTES=228
12/11/19 15:34:31 INFO mapred.JobClient:     Reduce input records=4
12/11/19 15:34:31 INFO mapred.JobClient:     Reduce input groups=3
12/11/19 15:34:31 INFO mapred.JobClient:     Combine output records=4
12/11/19 15:34:31 INFO mapred.JobClient:     Physical memory (bytes) snapshot=326197248
12/11/19 15:34:31 INFO mapred.JobClient:     Reduce output records=3
12/11/19 15:34:31 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1128873984
12/11/19 15:34:31 INFO mapred.JobClient:     Map output records=4

 

 

3、wordcount 程序执行完毕，运行命令 bin/hadoop fs -ls output。查看输出结果。如下：

hadoopusr@shan-pc:/usr/local/hadoop$ bin/hadoop fs -ls output
Found 3 items
-rw-r--r--   2 hadoopusr supergroup          0 2012-11-19 15:34 /user/hadoopusr/output/_SUCCESS
drwxr-xr-x   - hadoopusr supergroup          0 2012-11-19 15:34 /user/hadoopusr/output/_logs
-rw-r--r--   2 hadoopusr supergroup         25 2012-11-19 15:34 /user/hadoopusr/output/part-r-00000

4、输入命令 bin/hadoop fs -cat /user/hadoopusr/output/part-r-00000 查看最后统计结果。结果如下：

Ubuntu:

一、安装 Java。

首先安装 java。因为 Ubuntu 里面默认安装了 OpenJDK, 可以先将其卸载。在终端输入命令：sudo apt-get purge openjdk*。

1、从 sun 主页下载 JDK for linux 版本。我下载的是 jdk-6u37-linux-i586.bin。下载地址： 点击打开

2、切换到 root 用户并切换到想要安装的目录。我的安装目录为 /usr/lib/jvm/java。将下载的文件拷贝到此目录中。并使用命令：chmod a+x jdk-6u37-linux-i586.bin 将此文件权限设置为可执行类型。

3、开始安装。在终端输入：./jdk-6u37-linux-i586.bin，接下来会进行安装过程。安装过程中会提示按 Enter 键继续。

4、安装完成后，会出现 Done。表示完成了 java 环境的安装。安装的位置为当前目录 /usr/java。当然，也可以选择其他的位置。

5、安装完成后，直接在终端输入 java 会出错。此时还需要配置环境变量。如果只使用 export 命令则支队当前 shell 起作用。如果切换 shell 或重启则依旧会失效。可以选择配置.bashr 文件或 /etc/profile，后者修改系统配置文件，对所有用户均有效。

6、使用 vim 打开 /etc/profile 文件。在末尾添加如下内容：

export JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_37
export JRE_HOME=/usr/lib/jvm/java/jdk1.6.0_37/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

（ 注： 注意一定不要错误，否则有可能重启后无法进入系统，如果由于输入错误，导致开机之后只有空白的界面，按 ctrl+Alt+F1 进入 tty1 命令行界面，输入命令：sudo vim /etc/profile 检查刚刚的配置是否有错误的地方，改正后重启即可。 注意 export 命令 = 两边没有空格。）

 

7、 保存后重新启动计算机。

（ 注： 网上有资料说可以使用 source 更新一下。在终端输入命令：source /etc/profile。经本人测试，这种方法会导致只在一个终端中有效，如果打开新的终端会 java 配置会失效，除非再次使用 source 命令更新。）

8、使用 env 命令查看各环境变量的值。如果各项变量内容都与之前配置的相同，则说明配置成功。也可使用 java -version 命令察看。如果能输出 java version “1.6.0_37″ 则表明配置正确。

二、创建 Hadoop 组和 Hadoop 用户。

1、创建 hadoop 用户组：sudo addgroup hadoop

2、创建 hadoop 用户：sudo adduser -ingroup hadoop hadoopusr。过程中会要求你输入密码和用户信息。输入用户信息的时候，可直接点 Enter（表示默认）。最后输入 y。

3、给刚新建的 hadoop 用户 hadoopusr 添加权限，打开 /etc/sudoers 文件。输入命令：sudo gedit /etc/sudoers。给 hadoopusr 赋予 root 用户同样的权限。在文件末尾添加如下信息：

root    ALL=(ALL:ALL)  ALL
hadoopusr  ALL=(ALL:ALL)  ALL

 

三、安装 ssh 服务

ssh 可以实现远程登录和管理，具体可以参考其他相关资料。

输入命令：sudo apt-get install ssh openssh-server，安装 openssh-server。

如果你已经安装好了 ssh，可以直接进行下一步。

四、建立 ssh 无密码登录本机

首先要转换成 hadoop 用户，执行以下命令：su – hadoopusr，再输入密码即可。

ssh 生成密钥有 rsa 和 dsa 两种生成方式，默认情况下采用 rsa 方式。

1、创建 ssh-key，我们采用 rsa 方式。输入命令：ssh-keygen -t rsa -P “”

输入命令后会出现提示信息：“Enter file in which to save the key (/home/hadoopusr/.ssh/id_rsa):”，直接点回车即可。出现如下信息：

Created directory '/home/hadoopusr/.ssh'.
Your identification has been saved in /home/hadoopusr/.ssh/id_rsa.
Your public key has been saved in /home/hadoopusr/.ssh/id_rsa.pub.
The key fingerprint is:
d4:29:00:6e:20:f0:d9:c6:a2:9b:cd:22:60:44:af:eb hadoopusr@shan-pc
The key's randomart image is:
+--[RSA 2048]----+
|+.. ...          |
|.o.*   . . .     |
| .+.*   o o      |
|...+   . .       |
|oo      S        |
|o=.              |
|=.o              |
|o.               |
| E               |
+-----------------+

 

（注：回车后会在~/.ssh/ 下生成两个文件：id_rsa 和 id_rsa.pub。这两个文件是成对出现的。）

2、进入~/.ssh/ 目录下，将 id_rsa.pub 追加到 authorized_keys 授权文件中，开始没有 authorized_keys 文件。执行命令：

cd ~/.ssh
cat id_rsa.pub >> authorized_keys

完成后即可无密码登录本机。

3、登录 localhost。在终端输入命令：ssh localhost

(注：当 ssh 远程登录到其它机器后，你控制的是远程的机器，需要执行退出命令才能重新控制本地主机。)

4、执行退出命令。输入命令：exit

相关阅读 ：

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm