阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS6.4安装Hadoop2.2.0集群Pass总结

242次阅读
没有评论

共计 1660 个字符,预计需要花费 5 分钟才能阅读完成。

这篇 http://www.linuxidc.com/Linux/2013-11/93077.htm  对细节部分介绍的很好,但我站在一个才接触 hodoop 的新手的角度来看,有些东西讲的有点杂乱,不好理解。

我的意思并不是说前面的 Blog 写的不好,我还是非常感谢作者的分享。我只是在其基础上,将其重要的需要注意的地方总结一下,方便大家,也方便自己以后查阅。

1. 集群的安装当然需要使用到多台电脑,我使用的是三台 CentOS 的虚拟机。网络上很多 blog 中都有提到,重新新建账户和群组,其实这个步骤是可有可无的。之所以这样干,我自己思考有两个方面的原因:一个是为了方便管理,账户专用,也更加安全;另外一个方面,是在实际的集群安装中会有很多台的电脑需要配置环境,使用相同的账户和路径更加方便脚本批处理。(这纯属个人猜测,如有错误还请大侠指正。)

2. 安装 JDK 环境,这个属于基础步骤,网络上资料太多,就不多说,上面的 blog 中也有相关介绍。

3. 配置 ssh 环境。在我最初看网络上一些文章的时候,我还是有点迷糊的。这个主要是需要了解 ssh 公钥实现无密码登录的原理,之后就非常明了了。说白一点,就是如果电脑 A 需要无密码登录电脑 B,则需要在电脑 A 的 authorized_keys 中保存 B 的公钥信息。而如果需要多台电脑之间互相实现无码登录,则需要相互之间共享各自的公钥。

4. 说到 ssh 环境,提两个需要注意的地方:一个是需要配置 ”/etc/ssh/sshd_config”,PubkeyAuthentication yes #启用公钥私钥配对认证方式。另外一个是 authorized_keys 的属性需要修改为 644.

5. 配置 /etc/hosts 中计算机名称与 IP 的对应。

其实这个只是为了方面在后面的配置文件中使用计算机名代替 IP 地址而已,便于管理,也便于修改。当然如果你不怕麻烦,所有的地方都使用 IP 地址也没有问题的。

6. 剩下的就是配置 Hadoop 自己的环境了。这个部分在前面的 blog 中都有详细的步骤,我就不多说了。我只想说一句,如果发现配置完了启动不了,记得看 Log 中的原因,一般都很容易定位到问题,修改相关配置后再尝试。

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

官网上对于几个重要的配置文件的各个参数都有说明,都参考说明文档。

关于静态 IP 的问题,大家只要能实现就好了,我在网上找到的大部分资料都是修改 /etc/sysconfig/network 下面的配置文件来实现,我虚拟机安装出来后的 eth0 不存在,所以改起来蛮麻烦的。我就直接使用系统提供的网络管理器修改,同样可以达到效果。

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计1660字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中