阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

配置Hadoop1.2.1

105次阅读
没有评论

共计 2421 个字符,预计需要花费 7 分钟才能阅读完成。

1. 从 Apache 官网上下载 1.2.1,地址:http://apache.dataguru.cn/Hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz
 2. 拷贝文件到虚拟机下(vm9 下直接拖拽就可以)
 3. 到 Hadoop 的目录下的 conf 找到 hadoop-env.sh,找到这行:# export Java_HOME=/usr/lib/j2sdk1.5-sun,解注并改成 JAVA 正确的路径
 4. 修改 core-site.xml。默认只有 <configuration></configuration>,需要修改成为:
 <configuration>
 <property>
 <name>fs.default.name</name>
 <value>hdfs://master:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/home/master/hadoop-1.2.1/tmp</value>
 </property>
 </configuration>
 注:要在 hadoop 下新建 tmp 文件夹,用于存放临时文件,如果不设置,hadoop 默认成 /tmp 文件夹,这样重启后 hadoop 就会报错
 5. 修改 hdfs-site.xml. 默认只有 <configuration></configuration>,需要修改成为:
 <configuration>
 <property>
 <name>dfs.replication</name>
 <value>2</value>
 </property>
 </configuration>
 
6. 修改 mapred-site.xml. 默认只有 <configuration></configuration>,需要修改成为:
 <configuration>
 <property>
 <name>mapred.job.tracker</name>
 <value>master:9001</value>
 </property>
 </configuration>
 
7. 修改 masters,改成 master(主机名)
 
8. 修改 slaves,改成 slave1(主机名)
 
9. 切换到 root 用户下,修改 /etc/hosts 文件,增加 master 和 slave1 的 IP
 192.168.37.1    master
 192.168.37.2    slave1
 
10. 配置完成之后,ping master 和 ping slave1
 
11. 把 master 节点下配置好的 hadoop 复制到 slave1 节点下:scp -r ./hadoop-1.2.1 slave1@slave1:/home/slave1
 
12. 修改 slave1 节点下的 /etc/hosts 文件和 master 节点一致
 192.168.37.1    master
 192.168.37.2    slave1
 
13. 格式化名称节点,即 master 节点,切换到 hadoop 目录,执行命令:bin/hadoop namenode -format
 
14. 在正式启动 hadoop 之前,要把自己的公匙放到 authorized_keys,这样自动连自己才会不用输入密码。方法是:
 cat id_rsa.pub 然后把里面的内容复制出来,vi authorized_keys 把内容粘到里面,保存;两台机器都一样的做法。
 
15. 改完之后,ssh master,看看是否还需要密码
 
16. 如果之前已经运行过启动 hadoop,但因为 14 没有做,需要把 hadoop 的进程杀掉,方法:进行 JAVA 主目录,
 运行./bin/jps 命令,看有哪些 hadoop 的进程在运行,然后用 kill -9 11133 把屏幕显示的进程杀掉,这样才能顺利的启动。
 
17. 最后启动:bin/start-all.sh
 
18. 检查 hadoop 是否安装成功:在 JDK 目录下运行 -bin/jps,出现
 11002 SecondaryNameNode
 10832 NameNode
 11076 JobTracker
 11237 Jps
 说明安装成功

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计2421字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中