配置Hadoop1.2.1

共计 2421 个字符，预计需要花费 7 分钟才能阅读完成。

1. 从 Apache 官网上下载 1.2.1，地址：http://apache.dataguru.cn/Hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz
 2. 拷贝文件到虚拟机下（vm9 下直接拖拽就可以）
 3. 到 Hadoop 的目录下的 conf 找到 hadoop-env.sh，找到这行：# export Java_HOME=/usr/lib/j2sdk1.5-sun，解注并改成 JAVA 正确的路径
 4. 修改 core-site.xml。默认只有 <configuration></configuration>，需要修改成为：
 <configuration>
 <property>
 <name>fs.default.name</name>
 <value>hdfs://master:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/home/master/hadoop-1.2.1/tmp</value>
 </property>
 </configuration>
 注：要在 hadoop 下新建 tmp 文件夹，用于存放临时文件，如果不设置，hadoop 默认成 /tmp 文件夹，这样重启后 hadoop 就会报错
 5. 修改 hdfs-site.xml. 默认只有 <configuration></configuration>，需要修改成为：
 <configuration>
 <property>
 <name>dfs.replication</name>
 <value>2</value>
 </property>
 </configuration>
 
6. 修改 mapred-site.xml. 默认只有 <configuration></configuration>，需要修改成为：
 <configuration>
 <property>
 <name>mapred.job.tracker</name>
 <value>master:9001</value>
 </property>
 </configuration>
 
7. 修改 masters，改成 master(主机名)
 
8. 修改 slaves，改成 slave1(主机名)
 
9. 切换到 root 用户下，修改 /etc/hosts 文件，增加 master 和 slave1 的 IP
 192.168.37.1    master
 192.168.37.2    slave1
 
10. 配置完成之后，ping master 和 ping slave1
 
11. 把 master 节点下配置好的 hadoop 复制到 slave1 节点下：scp -r ./hadoop-1.2.1 slave1@slave1:/home/slave1
 
12. 修改 slave1 节点下的 /etc/hosts 文件和 master 节点一致
 192.168.37.1    master
 192.168.37.2    slave1
 
13. 格式化名称节点，即 master 节点，切换到 hadoop 目录，执行命令：bin/hadoop namenode -format
 
14. 在正式启动 hadoop 之前，要把自己的公匙放到 authorized_keys，这样自动连自己才会不用输入密码。方法是：
 cat id_rsa.pub 然后把里面的内容复制出来，vi authorized_keys 把内容粘到里面，保存；两台机器都一样的做法。
 
15. 改完之后，ssh master，看看是否还需要密码
 
16. 如果之前已经运行过启动 hadoop，但因为 14 没有做，需要把 hadoop 的进程杀掉，方法：进行 JAVA 主目录，
 运行./bin/jps 命令，看有哪些 hadoop 的进程在运行，然后用 kill -9 11133 把屏幕显示的进程杀掉，这样才能顺利的启动。
 
17. 最后启动：bin/start-all.sh
 
18. 检查 hadoop 是否安装成功：在 JDK 目录下运行 -bin/jps，出现
 11002 SecondaryNameNode
 10832 NameNode
 11076 JobTracker
 11237 Jps
 说明安装成功

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13