阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu下 Hadoop 1.2.1 配置安装

136次阅读
没有评论

共计 5038 个字符,预计需要花费 13 分钟才能阅读完成。

本文一步一步详细记录了 Ubuntu 环境安装 Hadoop 1.2.1 搭建单机模式以及伪分布式模式,希望对各位和我一样的菜鸟有所帮助,共同学习进步,欢迎交流。尝试 2.1 安装未遂,由于文件结构不太一样缺乏相关资料,也非做运维的,遂放弃改用成熟的 hadoop 1.2.1 版本。

—————————————- 单机模式 —————————————–

下载:hadoop-1.2.1.tar.gz

解压:

tar -xzvf hadoop-1.2.1.tar.gz 

转移:

mv hadoop-1.2.1/ /opt 

进入 conf 文件配置环境变量

Ubuntu 下 Hadoop 1.2.1 配置安装

让环境变量配置生效 source,是 source, 不是 sh, 补充下 sh 和. 的区别,参考

source hadoop-env.sh 

检测是否安装成功

Ubuntu 下 Hadoop 1.2.1 配置安装

单机版 hadoop 安装成功,测试一下

mkdir input

cp -R conf input/

运行 wordcount 程序并将结果保存到 output

hadoop hadoop-examples-1.2.1.jar

错误: 找不到或无法加载主类 hadoop-examples-1.2.1.jar

hadoop jar hadoop-examples-1.2.1.jar wordcount input output  发现错误,粗心害死猫 …. 修改后运行,OK!

Ubuntu 下 Hadoop 1.2.1 配置安装

单机模式成功,接下来搭建伪分布式

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2013-11/92836p2.htm 

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置  http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

——————————— 华丽的分割线 伪分布式 ———————————

Hadoop 目录下创建以下目录:

dat@dat-HP:/opt/hadoop-1.2.1$ mkdir tmp 
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs 
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs/name 
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hafs/data 

编辑 core-site.xml

<configuration> 
  <property> 
        <name>fs.default.name</name> 
        <value>hdfs://localhost:9000</value> 
    </property> 
    <property> 
        <name>hadoop.tmp.dir</name> 
        <value>/opt/hadoop-1.2.1/tmp</value> 
    </property> 
</configuration> 

hdfs-site.xml:

<configuration> 
  <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
    <property> 
        <name>dfs.name.dir</name> 
        <value>/opt/hadoop-1.2.1/hdfs/name</value> 
    </property> 
    <property> 
        <name>dfs.data.dir</name> 
        <value>/opt/hadoop-1.2.1/hdfs/data</value> 
    </property> 
</configuration> 

mapred-site.xml:

<configuration> 
  <property> 
        <name>mapred.job.tracker</name> 
        <value>localhost:9001</value> 
    </property> 
</configuration> 

格式化 HDFS(建议只格式化一次,多次格式化据传后边会引起问题,本人没有尝试 …):

dat@dat-HP:/opt/hadoop-1.2.1/conf$ source hadoop-env.sh 
dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop namenode -format 

Ubuntu 下 Hadoop 1.2.1 配置安装

本文一步一步详细记录了 Ubuntu 环境安装 Hadoop 1.2.1 搭建单机模式以及伪分布式模式,希望对各位和我一样的菜鸟有所帮助,共同学习进步,欢迎交流。尝试 2.1 安装未遂,由于文件结构不太一样缺乏相关资料,也非做运维的,遂放弃改用成熟的 hadoop 1.2.1 版本。

—————————————- 单机模式 —————————————–

下载:hadoop-1.2.1.tar.gz

解压:

tar -xzvf hadoop-1.2.1.tar.gz 

转移:

mv hadoop-1.2.1/ /opt 

进入 conf 文件配置环境变量

Ubuntu 下 Hadoop 1.2.1 配置安装

让环境变量配置生效 source,是 source, 不是 sh, 补充下 sh 和. 的区别,参考

source hadoop-env.sh 

检测是否安装成功

Ubuntu 下 Hadoop 1.2.1 配置安装

单机版 hadoop 安装成功,测试一下

mkdir input

cp -R conf input/

运行 wordcount 程序并将结果保存到 output

hadoop hadoop-examples-1.2.1.jar

错误: 找不到或无法加载主类 hadoop-examples-1.2.1.jar

hadoop jar hadoop-examples-1.2.1.jar wordcount input output  发现错误,粗心害死猫 …. 修改后运行,OK!

Ubuntu 下 Hadoop 1.2.1 配置安装

单机模式成功,接下来搭建伪分布式

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2013-11/92836p2.htm 

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置  http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

启动 Hadoop:

执行执行 bin/start-all.sh 来启动所有服务,包括 namenode,datanode,start-all.sh 脚本用来装载守护进程

dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh 

Ubuntu 下 Hadoop 1.2.1 配置安装

用 java 的 jps 命令验证是否安装成功:

dat@dat-HP:/opt/hadoop-1.2.1$ jps

Ubuntu 下 Hadoop 1.2.1 配置安装

少一个 DataNode 进程没有启动,通过查看上边现实的路径下的日志发现:

Ubuntu 下 Hadoop 1.2.1 配置安装

很明显,data 文件夹的权限不对,修改权限:

dat@dat-HP:/opt/hadoop-1.2.1/hdfs$ chmod 755 data 

关闭 hadoop, 重新启动:

dat@dat-HP:/opt/hadoop-1.2.1/bin$ stop-all.sh 

dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh 

dat@dat-HP:/opt/hadoop-1.2.1/bin$ jps 

Ubuntu 下 Hadoop 1.2.1 配置安装

6 个进程全部启动了,此时安装正常,可以进行 Hadoop 的相关操作了。

检查运行状态:可以通过下面的操作来查看服务是否正常,在 Hadoop 中用于监控集群健康状态的 Web 界面

http://localhost:50030/    – Hadoop 管理介面
http://localhost:50060/    – Hadoop Task Tracker 状态
http://localhost:50070/    – Hadoop DFS 状态

hadoop 的伪分布模式已经安装成功,再次在伪分布模式下运行一下 WordCount 来感受 MapReduce 过程:

这时注意程序是在文件系统 dfs 运行的,创建的文件也都基于文件系统:

首先在 dfs 中创建 input 目录

dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop dfs -mkdir input 
Warning: $HADOOP_HOME is deprecated. 

将 conf 中的文件拷贝到 dfs 中的 input

dat@dat-HP:/opt/Hadoop-1.2.1$ hadoop dfs -copyFromLocal conf/* input 

在伪分布式模式下运行 WordCount

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop jar hadoop-examples-1.2.1.jar wordcount input output

Ubuntu 下 Hadoop 1.2.1 配置安装

INFO mapred.JobClient:  map 100% reduce 0% 到这里卡死不动了。

解决办法:查询鸟文论坛帖子(http://stackoverflow.com/questions/10165549/hadoop-wordcount-example-stuck-at-map-100-reduce-0)发现,修改 /etc/hosts 文件,加入主机名和 IP 地址的映射。

检查主机名:

dat@dat-HP:/opt/hadoop-1.2.1/conf$ hostname 

Ubuntu 下 Hadoop 1.2.1 配置安装

修改 /etc/hosts 文件:

Ubuntu 下 Hadoop 1.2.1 配置安装

重新来过:

hadoop dfs -rmr output/ 
hadoop jar hadoop-examples-1.2.1.jar wordcount input output 

依旧不起作用 ……….. 重启,再重新来过 ……………..ok!!!

Ubuntu 下 Hadoop 1.2.1 配置安装

oK!! 看见没有,你成功了!!!!!!

检测一下输出信息:

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop dfs -cat output/* 

Ubuntu 下 Hadoop 1.2.1 配置安装

ok!! 此时伪分布式系统环境已可以正常使用~~~!

YOU GET YOUR FOOT IN THE DOOR!

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

更多 Ubuntu 相关信息见 Ubuntu 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=2

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计5038字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中