阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu下Hadoop1.0.4源码编译

422次阅读
没有评论

共计 5529 个字符,预计需要花费 14 分钟才能阅读完成。

本机环境:

Ubuntu12.04  32 位 与 jdk 1.7

(1)maven-3.2.2 的安装

Ubuntu 下 Hadoop1.0.4 源码编译

首先到 maven 官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2

解压到 /usr/local/ 目录下:tar -zxvf  apache-maven-3.2.2-bin.tar.gz,并重命名为 maven

修改 /etc/profile:

添加一下两个变量并保存:

export M2_HOME=/usr/local/maven

export PATH=.:$M2_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:mvn  -v,如果出现下面提示表示安装成功:

Ubuntu 下 Hadoop1.0.4 源码编译

Maven 权威指南_中文完整版清晰 PDF http://www.linuxidc.com/Linux/2014-06/103690.htm

Linux 安装 Maven http://www.linuxidc.com/Linux/2013-05/84489.htm

Maven3.0 配置和简单使用 http://www.linuxidc.com/Linux/2013-04/82939.htm

Ubuntu 下搭建 sun-jdk 和 Maven2 http://www.linuxidc.com/Linux/2012-12/76531.htm

Maven 使用入门 http://www.linuxidc.com/Linux/2012-11/74354.htm

(2)ant-1.9.4 的安装

首先到 Ant 的官方网站下载,http://ant.apache.org/,这里我下载最新版本,ant-1.9.4

解压到 /usr/local/ 目录下:tar -zxvf  apache-ant-1.9.4-bin.tar.gz,并重命名为 ant

修改 /etc/profile:

添加一下两个变量并保存:

export ANT_HOME=/usr/local/ant

export PATH=.:$ANT_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:ant  -version,如果出现下面提示表示安装成功:

Ubuntu 下 Hadoop1.0.4 源码编译

Apache Ant 的详细介绍下载见 http://www.linuxidc.com/Linux/2013-08/88313.htm

Android 编译工具 Ant http://www.linuxidc.com/Linux/2013-05/84490.htm

(3)protobuf-2.5.0 的安装

首先到 protobuf 官方网站下载,https://code.google.com/p/protobuf/downloads/list,这里我下载最新版本,protobuf-2.5.0。

解压到 /usr/local/ 目录下:tar -zxvf  protobuf-2.5.0.tar.gz,并重命名为 protobuf

在进行下一步安装之前,我们要把一些必要的库或软件安装上:

apt-get install build-essential

apt-get install autoconf

apt-get install automake

apt-get install libtool

接下来按照:A、./configure  B、make  C、make check  D、make install 的步骤安装。

用 protobuf 替换 Hadoop 中 rpc 的返回值 http://www.linuxidc.com/Linux/2012-04/58852.htm

(4)jdk1.6 安装

这里见前面的文章即可,不在重复叙述。最好不要装 jdk1.7,会有一些兼容性问题导致不能安装成功。

Ubuntu 下安装 JDK7(附 Clojure 下载)http://www.linuxidc.com/Linux/2012-10/71557.htm

Ubuntu 12.04 下安装 JDK1.7 http://www.linuxidc.com/Linux/2012-06/62239.htm

CentOS6.3 安装 JDK 和环境配置 http://www.linuxidc.com/Linux/2012-09/70780.htm

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-08/105986p2.htm

(5)下载 Hadoop1.0.4 源码并进行编译

源码的下载可以到 https://github.com/apache/hadoop-common/releases,hadoop-common-release-1.0.4.tar.gz 下载,要标有 rc 标志的才是源码,一般都是 20 多 M,已编译好的一般有 60M。

解压:tar -zxvf  hadoop-common-release-1.0.4.tar.gz,

然后进入 hadoop 目录,输入:ant package。

不过呢,编译 1,2 分钟后,就显示 BUILD FAILED 了。错误信息如下:

 

java5.check:

BUILD FAILED
/usr/local/hadoop-common-release-1.0.4/build.xml:1343: ‘java5.home’ is not defined.  Forrest requires Java 5.  Please pass -Djava5.home=<base of Java 5 distribution> to Ant on the command-line.

Total time: 2 minutes 12 seconds

说是要我们在 ant package 命令之后添加 -Djava5.home=<jdk5 的安装路径 >。也就是说要我们安装 java5,可能是 hadoop1.0.4 版本比较旧的关系,要求的 jdk 也比较旧,这里,有两个解决方案:

方案 1:当然就是安装 java5,然后再输入命令后面加入 java5 安装路径,ant package -Djava5.home=<jdk5 安装路径 >。

方案 2:进入 hadoop 源码目录,找到 build.xml 注释某一段代码,可以让我们忽略这一个警告,我就是用方案 2 实现的。

Ubuntu 下 Hadoop1.0.4 源码编译

build.xml:

Ubuntu 下 Hadoop1.0.4 源码编译

接下来,我们再重新编译:ant package

这次,我们又碰上编译失败,不过这次不是提示上一次的错误信息了,让我们看看这次是什么错误:

BUILD FAILED
/usr/local/hadoop-common-release-1.0.4/build.xml:1598: The following error occurred while executing this line:
/usr/local/hadoop-common-release-1.0.4/build.xml:2781: exec returned: 2

Total time: 2 minutes 10 seconds

这是一个网上已经解决的 bug,解决方案:

到 Hadoop 源码目录下找到 src/c++/task-controller/configure.ac 文件,

找到 AC_SYS_LARGEFILE 这一行,注释掉即可。

重新编译 ant package,这次终于成功了!

Ubuntu 下 Hadoop1.0.4 源码编译

进入 build 文件夹,可以发现多了个 hadoop-1.0.4-SNAPSHOT 文件夹,这个就是我们已经编译好的 hadoop 文件,进入看可以发现和网上提供的 hadoop 文件时一样的。

Ubuntu 下 Hadoop1.0.4 源码编译

我们现在就可以使用这个 hadoop 文件进行部署开发了。

————————————– 分割线 ————————————–

CentOS 6.4 下 Hadoop 0.20.2 安装实录 http://www.linuxidc.com/Linux/2014-02/96864.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————–

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本机环境:

Ubuntu12.04  32 位 与 jdk 1.7

(1)maven-3.2.2 的安装

Ubuntu 下 Hadoop1.0.4 源码编译

首先到 maven 官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2

解压到 /usr/local/ 目录下:tar -zxvf  apache-maven-3.2.2-bin.tar.gz,并重命名为 maven

修改 /etc/profile:

添加一下两个变量并保存:

export M2_HOME=/usr/local/maven

export PATH=.:$M2_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:mvn  -v,如果出现下面提示表示安装成功:

Ubuntu 下 Hadoop1.0.4 源码编译

Maven 权威指南_中文完整版清晰 PDF http://www.linuxidc.com/Linux/2014-06/103690.htm

Linux 安装 Maven http://www.linuxidc.com/Linux/2013-05/84489.htm

Maven3.0 配置和简单使用 http://www.linuxidc.com/Linux/2013-04/82939.htm

Ubuntu 下搭建 sun-jdk 和 Maven2 http://www.linuxidc.com/Linux/2012-12/76531.htm

Maven 使用入门 http://www.linuxidc.com/Linux/2012-11/74354.htm

(2)ant-1.9.4 的安装

首先到 Ant 的官方网站下载,http://ant.apache.org/,这里我下载最新版本,ant-1.9.4

解压到 /usr/local/ 目录下:tar -zxvf  apache-ant-1.9.4-bin.tar.gz,并重命名为 ant

修改 /etc/profile:

添加一下两个变量并保存:

export ANT_HOME=/usr/local/ant

export PATH=.:$ANT_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:ant  -version,如果出现下面提示表示安装成功:

Ubuntu 下 Hadoop1.0.4 源码编译

Apache Ant 的详细介绍下载见 http://www.linuxidc.com/Linux/2013-08/88313.htm

Android 编译工具 Ant http://www.linuxidc.com/Linux/2013-05/84490.htm

(3)protobuf-2.5.0 的安装

首先到 protobuf 官方网站下载,https://code.google.com/p/protobuf/downloads/list,这里我下载最新版本,protobuf-2.5.0。

解压到 /usr/local/ 目录下:tar -zxvf  protobuf-2.5.0.tar.gz,并重命名为 protobuf

在进行下一步安装之前,我们要把一些必要的库或软件安装上:

apt-get install build-essential

apt-get install autoconf

apt-get install automake

apt-get install libtool

接下来按照:A、./configure  B、make  C、make check  D、make install 的步骤安装。

用 protobuf 替换 Hadoop 中 rpc 的返回值 http://www.linuxidc.com/Linux/2012-04/58852.htm

(4)jdk1.6 安装

这里见前面的文章即可,不在重复叙述。最好不要装 jdk1.7,会有一些兼容性问题导致不能安装成功。

Ubuntu 下安装 JDK7(附 Clojure 下载)http://www.linuxidc.com/Linux/2012-10/71557.htm

Ubuntu 12.04 下安装 JDK1.7 http://www.linuxidc.com/Linux/2012-06/62239.htm

CentOS6.3 安装 JDK 和环境配置 http://www.linuxidc.com/Linux/2012-09/70780.htm

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-08/105986p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计5529字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7984866
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛 NAS-14:解锁公网自由!Lucky 功能工具安装使用保姆级教程 作为 NAS 玩家,咱们最...
免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

  免费无广告!这款跨平台 AI RSS 阅读器,拯救你的信息焦虑 在算法推荐主导信息流的时代,我们...
星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定! 前言 作为 NAS 玩家,你是否总被这些...
支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare 也瘫了连监控都挂,根因藏在哪? 最近两天的互联网堪称“故障...
浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍 前言 在 AI 自动化快速发展的当下,浏览器早已不再只是...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击 PHP-FPM(FastCGl Process M...
安装并使用谷歌AI编程工具Antigravity(亲测有效)

安装并使用谷歌AI编程工具Antigravity(亲测有效)

  安装并使用谷歌 AI 编程工具 Antigravity(亲测有效) 引言 Antigravity...
星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...
仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

还在忍受动辄数百兆的“全家桶”监控软件?后台偷占资源、界面杂乱冗余,想查个 CPU 温度都要层层点选? 今天给...
星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定! 前言 作为 NAS 玩家,你是否总被这些...