阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu下 Hadoop 1.2.1 配置安装

400次阅读
没有评论

共计 5038 个字符,预计需要花费 13 分钟才能阅读完成。

本文一步一步详细记录了 Ubuntu 环境安装 Hadoop 1.2.1 搭建单机模式以及伪分布式模式,希望对各位和我一样的菜鸟有所帮助,共同学习进步,欢迎交流。尝试 2.1 安装未遂,由于文件结构不太一样缺乏相关资料,也非做运维的,遂放弃改用成熟的 hadoop 1.2.1 版本。

—————————————- 单机模式 —————————————–

下载:hadoop-1.2.1.tar.gz

解压:

tar -xzvf hadoop-1.2.1.tar.gz 

转移:

mv hadoop-1.2.1/ /opt 

进入 conf 文件配置环境变量

Ubuntu 下 Hadoop 1.2.1 配置安装

让环境变量配置生效 source,是 source, 不是 sh, 补充下 sh 和. 的区别,参考

source hadoop-env.sh 

检测是否安装成功

Ubuntu 下 Hadoop 1.2.1 配置安装

单机版 hadoop 安装成功,测试一下

mkdir input

cp -R conf input/

运行 wordcount 程序并将结果保存到 output

hadoop hadoop-examples-1.2.1.jar

错误: 找不到或无法加载主类 hadoop-examples-1.2.1.jar

hadoop jar hadoop-examples-1.2.1.jar wordcount input output  发现错误,粗心害死猫 …. 修改后运行,OK!

Ubuntu 下 Hadoop 1.2.1 配置安装

单机模式成功,接下来搭建伪分布式

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2013-11/92836p2.htm 

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置  http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

——————————— 华丽的分割线 伪分布式 ———————————

Hadoop 目录下创建以下目录:

dat@dat-HP:/opt/hadoop-1.2.1$ mkdir tmp 
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs 
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs/name 
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hafs/data 

编辑 core-site.xml

<configuration> 
  <property> 
        <name>fs.default.name</name> 
        <value>hdfs://localhost:9000</value> 
    </property> 
    <property> 
        <name>hadoop.tmp.dir</name> 
        <value>/opt/hadoop-1.2.1/tmp</value> 
    </property> 
</configuration> 

hdfs-site.xml:

<configuration> 
  <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
    <property> 
        <name>dfs.name.dir</name> 
        <value>/opt/hadoop-1.2.1/hdfs/name</value> 
    </property> 
    <property> 
        <name>dfs.data.dir</name> 
        <value>/opt/hadoop-1.2.1/hdfs/data</value> 
    </property> 
</configuration> 

mapred-site.xml:

<configuration> 
  <property> 
        <name>mapred.job.tracker</name> 
        <value>localhost:9001</value> 
    </property> 
</configuration> 

格式化 HDFS(建议只格式化一次,多次格式化据传后边会引起问题,本人没有尝试 …):

dat@dat-HP:/opt/hadoop-1.2.1/conf$ source hadoop-env.sh 
dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop namenode -format 

Ubuntu 下 Hadoop 1.2.1 配置安装

本文一步一步详细记录了 Ubuntu 环境安装 Hadoop 1.2.1 搭建单机模式以及伪分布式模式,希望对各位和我一样的菜鸟有所帮助,共同学习进步,欢迎交流。尝试 2.1 安装未遂,由于文件结构不太一样缺乏相关资料,也非做运维的,遂放弃改用成熟的 hadoop 1.2.1 版本。

—————————————- 单机模式 —————————————–

下载:hadoop-1.2.1.tar.gz

解压:

tar -xzvf hadoop-1.2.1.tar.gz 

转移:

mv hadoop-1.2.1/ /opt 

进入 conf 文件配置环境变量

Ubuntu 下 Hadoop 1.2.1 配置安装

让环境变量配置生效 source,是 source, 不是 sh, 补充下 sh 和. 的区别,参考

source hadoop-env.sh 

检测是否安装成功

Ubuntu 下 Hadoop 1.2.1 配置安装

单机版 hadoop 安装成功,测试一下

mkdir input

cp -R conf input/

运行 wordcount 程序并将结果保存到 output

hadoop hadoop-examples-1.2.1.jar

错误: 找不到或无法加载主类 hadoop-examples-1.2.1.jar

hadoop jar hadoop-examples-1.2.1.jar wordcount input output  发现错误,粗心害死猫 …. 修改后运行,OK!

Ubuntu 下 Hadoop 1.2.1 配置安装

单机模式成功,接下来搭建伪分布式

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2013-11/92836p2.htm 

相关阅读

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置  http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

启动 Hadoop:

执行执行 bin/start-all.sh 来启动所有服务,包括 namenode,datanode,start-all.sh 脚本用来装载守护进程

dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh 

Ubuntu 下 Hadoop 1.2.1 配置安装

用 java 的 jps 命令验证是否安装成功:

dat@dat-HP:/opt/hadoop-1.2.1$ jps

Ubuntu 下 Hadoop 1.2.1 配置安装

少一个 DataNode 进程没有启动,通过查看上边现实的路径下的日志发现:

Ubuntu 下 Hadoop 1.2.1 配置安装

很明显,data 文件夹的权限不对,修改权限:

dat@dat-HP:/opt/hadoop-1.2.1/hdfs$ chmod 755 data 

关闭 hadoop, 重新启动:

dat@dat-HP:/opt/hadoop-1.2.1/bin$ stop-all.sh 

dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh 

dat@dat-HP:/opt/hadoop-1.2.1/bin$ jps 

Ubuntu 下 Hadoop 1.2.1 配置安装

6 个进程全部启动了,此时安装正常,可以进行 Hadoop 的相关操作了。

检查运行状态:可以通过下面的操作来查看服务是否正常,在 Hadoop 中用于监控集群健康状态的 Web 界面

http://localhost:50030/    – Hadoop 管理介面
http://localhost:50060/    – Hadoop Task Tracker 状态
http://localhost:50070/    – Hadoop DFS 状态

hadoop 的伪分布模式已经安装成功,再次在伪分布模式下运行一下 WordCount 来感受 MapReduce 过程:

这时注意程序是在文件系统 dfs 运行的,创建的文件也都基于文件系统:

首先在 dfs 中创建 input 目录

dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop dfs -mkdir input 
Warning: $HADOOP_HOME is deprecated. 

将 conf 中的文件拷贝到 dfs 中的 input

dat@dat-HP:/opt/Hadoop-1.2.1$ hadoop dfs -copyFromLocal conf/* input 

在伪分布式模式下运行 WordCount

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop jar hadoop-examples-1.2.1.jar wordcount input output

Ubuntu 下 Hadoop 1.2.1 配置安装

INFO mapred.JobClient:  map 100% reduce 0% 到这里卡死不动了。

解决办法:查询鸟文论坛帖子(http://stackoverflow.com/questions/10165549/hadoop-wordcount-example-stuck-at-map-100-reduce-0)发现,修改 /etc/hosts 文件,加入主机名和 IP 地址的映射。

检查主机名:

dat@dat-HP:/opt/hadoop-1.2.1/conf$ hostname 

Ubuntu 下 Hadoop 1.2.1 配置安装

修改 /etc/hosts 文件:

Ubuntu 下 Hadoop 1.2.1 配置安装

重新来过:

hadoop dfs -rmr output/ 
hadoop jar hadoop-examples-1.2.1.jar wordcount input output 

依旧不起作用 ……….. 重启,再重新来过 ……………..ok!!!

Ubuntu 下 Hadoop 1.2.1 配置安装

oK!! 看见没有,你成功了!!!!!!

检测一下输出信息:

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop dfs -cat output/* 

Ubuntu 下 Hadoop 1.2.1 配置安装

ok!! 此时伪分布式系统环境已可以正常使用~~~!

YOU GET YOUR FOOT IN THE DOOR!

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

更多 Ubuntu 相关信息见 Ubuntu 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=2

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计5038字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7975545
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
星哥带你玩飞牛NAS-4:飞牛NAS安装istore旁路由,家庭网络升级的最佳实践

星哥带你玩飞牛NAS-4:飞牛NAS安装istore旁路由,家庭网络升级的最佳实践

星哥带你玩飞牛 NAS-4:飞牛 NAS 安装 istore 旁路由,家庭网络升级的最佳实践 开始 大家好我是...
国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号 AI 知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率 大家好,我是星哥,...
三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

  三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Andr...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集 在云原生体系中,Prometheus 已成为最主流的监控与报警...
你的云服务器到底有多强?宝塔跑分告诉你

你的云服务器到底有多强?宝塔跑分告诉你

你的云服务器到底有多强?宝塔跑分告诉你 为什么要用宝塔跑分? 宝塔跑分其实就是对 CPU、内存、磁盘、IO 做...
安装Black群晖DSM7.2系统安装教程(在Vmware虚拟机中、实体机均可)!

安装Black群晖DSM7.2系统安装教程(在Vmware虚拟机中、实体机均可)!

安装 Black 群晖 DSM7.2 系统安装教程(在 Vmware 虚拟机中、实体机均可)! 前言 大家好,...
手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板 前言 大家好,我是星哥。星哥发现很多新手刚接触服务器时,都会被“选购...
仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

还在忍受动辄数百兆的“全家桶”监控软件?后台偷占资源、界面杂乱冗余,想查个 CPU 温度都要层层点选? 今天给...