阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop环境的搭建过程中的问题(伪分布)

130次阅读
没有评论

共计 1294 个字符,预计需要花费 4 分钟才能阅读完成。

Hadoop 搭建流程网上有很多,以下是我在搭建 Hadoop 伪分布式环境是遇到的一些比较菜鸟的问题。

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

1、执行 bin/hadoopnamenode –format 时提示没有配置 JAVA_HOME

linux 自带的 SDK 并不是 Sun 公司的 SDK,而是开源的 OpenSDK。为了保险,还是决定重新配置 java 环境,使用 SUN jdk。

2、执行启动命令 bin/start-all.sh 后出现:JAVA_HOMEis not set

但是执行 java -version 后可以看到 java 版本信息,证明系统的 jdk 没有配置错误。

再次检查 hadoop-env.sh 中的配置。发现路径虽然改了,但是那个语句还在注释里(#),我忘记把注释去掉了。(摔!)

3、执行 jps 发现没有启动 NameNode 以及 JobTracker

www.linuxidc.com@www.linuxidc.com:~/hadoop-0.20.2$jps

5457SecondaryNameNode

7491Jps

5672TaskTracker

5323DataNode

根据网友提示,可能是由于运行 hadoop 的用户对 /data/hadoop/name1 这个目录没有访问权限。因此,进入 root 中执行上述命令运行 hadoop,结果显示完全正确,只是每次启动一个 java 程序都要输入密码很麻烦。根据 ppt 提示进行了免密码 ssh 设置

4、输入 hadoop 文件命令的时候总是提示 hadoop 命令未找到,发现应该输入 bin/hadoop 所有的 hadoop 命令由 bin/ hadoop 脚本调用。

PS:(与云计算无关)之前 jdk8 出来了,我就配置在自己的 ubuntu 上了。但是安装 eclipse 和 Android studio 的时候发现各种问题。于是我又配置了系统自带的 OpenJDK。然后 eclipse 和 android studio 就恢复正常了。

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计1294字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中