阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu下Hadoop1.0.4源码编译

167次阅读
没有评论

共计 5529 个字符,预计需要花费 14 分钟才能阅读完成。

本机环境:

Ubuntu12.04  32 位 与 jdk 1.7

(1)maven-3.2.2 的安装

Ubuntu 下 Hadoop1.0.4 源码编译

首先到 maven 官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2

解压到 /usr/local/ 目录下:tar -zxvf  apache-maven-3.2.2-bin.tar.gz,并重命名为 maven

修改 /etc/profile:

添加一下两个变量并保存:

export M2_HOME=/usr/local/maven

export PATH=.:$M2_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:mvn  -v,如果出现下面提示表示安装成功:

Ubuntu 下 Hadoop1.0.4 源码编译

Maven 权威指南_中文完整版清晰 PDF http://www.linuxidc.com/Linux/2014-06/103690.htm

Linux 安装 Maven http://www.linuxidc.com/Linux/2013-05/84489.htm

Maven3.0 配置和简单使用 http://www.linuxidc.com/Linux/2013-04/82939.htm

Ubuntu 下搭建 sun-jdk 和 Maven2 http://www.linuxidc.com/Linux/2012-12/76531.htm

Maven 使用入门 http://www.linuxidc.com/Linux/2012-11/74354.htm

(2)ant-1.9.4 的安装

首先到 Ant 的官方网站下载,http://ant.apache.org/,这里我下载最新版本,ant-1.9.4

解压到 /usr/local/ 目录下:tar -zxvf  apache-ant-1.9.4-bin.tar.gz,并重命名为 ant

修改 /etc/profile:

添加一下两个变量并保存:

export ANT_HOME=/usr/local/ant

export PATH=.:$ANT_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:ant  -version,如果出现下面提示表示安装成功:

Ubuntu 下 Hadoop1.0.4 源码编译

Apache Ant 的详细介绍下载见 http://www.linuxidc.com/Linux/2013-08/88313.htm

Android 编译工具 Ant http://www.linuxidc.com/Linux/2013-05/84490.htm

(3)protobuf-2.5.0 的安装

首先到 protobuf 官方网站下载,https://code.google.com/p/protobuf/downloads/list,这里我下载最新版本,protobuf-2.5.0。

解压到 /usr/local/ 目录下:tar -zxvf  protobuf-2.5.0.tar.gz,并重命名为 protobuf

在进行下一步安装之前,我们要把一些必要的库或软件安装上:

apt-get install build-essential

apt-get install autoconf

apt-get install automake

apt-get install libtool

接下来按照:A、./configure  B、make  C、make check  D、make install 的步骤安装。

用 protobuf 替换 Hadoop 中 rpc 的返回值 http://www.linuxidc.com/Linux/2012-04/58852.htm

(4)jdk1.6 安装

这里见前面的文章即可,不在重复叙述。最好不要装 jdk1.7,会有一些兼容性问题导致不能安装成功。

Ubuntu 下安装 JDK7(附 Clojure 下载)http://www.linuxidc.com/Linux/2012-10/71557.htm

Ubuntu 12.04 下安装 JDK1.7 http://www.linuxidc.com/Linux/2012-06/62239.htm

CentOS6.3 安装 JDK 和环境配置 http://www.linuxidc.com/Linux/2012-09/70780.htm

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-08/105986p2.htm

(5)下载 Hadoop1.0.4 源码并进行编译

源码的下载可以到 https://github.com/apache/hadoop-common/releases,hadoop-common-release-1.0.4.tar.gz 下载,要标有 rc 标志的才是源码,一般都是 20 多 M,已编译好的一般有 60M。

解压:tar -zxvf  hadoop-common-release-1.0.4.tar.gz,

然后进入 hadoop 目录,输入:ant package。

不过呢,编译 1,2 分钟后,就显示 BUILD FAILED 了。错误信息如下:

 

java5.check:

BUILD FAILED
/usr/local/hadoop-common-release-1.0.4/build.xml:1343: ‘java5.home’ is not defined.  Forrest requires Java 5.  Please pass -Djava5.home=<base of Java 5 distribution> to Ant on the command-line.

Total time: 2 minutes 12 seconds

说是要我们在 ant package 命令之后添加 -Djava5.home=<jdk5 的安装路径 >。也就是说要我们安装 java5,可能是 hadoop1.0.4 版本比较旧的关系,要求的 jdk 也比较旧,这里,有两个解决方案:

方案 1:当然就是安装 java5,然后再输入命令后面加入 java5 安装路径,ant package -Djava5.home=<jdk5 安装路径 >。

方案 2:进入 hadoop 源码目录,找到 build.xml 注释某一段代码,可以让我们忽略这一个警告,我就是用方案 2 实现的。

Ubuntu 下 Hadoop1.0.4 源码编译

build.xml:

Ubuntu 下 Hadoop1.0.4 源码编译

接下来,我们再重新编译:ant package

这次,我们又碰上编译失败,不过这次不是提示上一次的错误信息了,让我们看看这次是什么错误:

BUILD FAILED
/usr/local/hadoop-common-release-1.0.4/build.xml:1598: The following error occurred while executing this line:
/usr/local/hadoop-common-release-1.0.4/build.xml:2781: exec returned: 2

Total time: 2 minutes 10 seconds

这是一个网上已经解决的 bug,解决方案:

到 Hadoop 源码目录下找到 src/c++/task-controller/configure.ac 文件,

找到 AC_SYS_LARGEFILE 这一行,注释掉即可。

重新编译 ant package,这次终于成功了!

Ubuntu 下 Hadoop1.0.4 源码编译

进入 build 文件夹,可以发现多了个 hadoop-1.0.4-SNAPSHOT 文件夹,这个就是我们已经编译好的 hadoop 文件,进入看可以发现和网上提供的 hadoop 文件时一样的。

Ubuntu 下 Hadoop1.0.4 源码编译

我们现在就可以使用这个 hadoop 文件进行部署开发了。

————————————– 分割线 ————————————–

CentOS 6.4 下 Hadoop 0.20.2 安装实录 http://www.linuxidc.com/Linux/2014-02/96864.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————–

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本机环境:

Ubuntu12.04  32 位 与 jdk 1.7

(1)maven-3.2.2 的安装

Ubuntu 下 Hadoop1.0.4 源码编译

首先到 maven 官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2

解压到 /usr/local/ 目录下:tar -zxvf  apache-maven-3.2.2-bin.tar.gz,并重命名为 maven

修改 /etc/profile:

添加一下两个变量并保存:

export M2_HOME=/usr/local/maven

export PATH=.:$M2_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:mvn  -v,如果出现下面提示表示安装成功:

Ubuntu 下 Hadoop1.0.4 源码编译

Maven 权威指南_中文完整版清晰 PDF http://www.linuxidc.com/Linux/2014-06/103690.htm

Linux 安装 Maven http://www.linuxidc.com/Linux/2013-05/84489.htm

Maven3.0 配置和简单使用 http://www.linuxidc.com/Linux/2013-04/82939.htm

Ubuntu 下搭建 sun-jdk 和 Maven2 http://www.linuxidc.com/Linux/2012-12/76531.htm

Maven 使用入门 http://www.linuxidc.com/Linux/2012-11/74354.htm

(2)ant-1.9.4 的安装

首先到 Ant 的官方网站下载,http://ant.apache.org/,这里我下载最新版本,ant-1.9.4

解压到 /usr/local/ 目录下:tar -zxvf  apache-ant-1.9.4-bin.tar.gz,并重命名为 ant

修改 /etc/profile:

添加一下两个变量并保存:

export ANT_HOME=/usr/local/ant

export PATH=.:$ANT_HOME/bin:$PATH

然后在终端上输入:source /etc/profile

测试是否安装成功,在终端输入:ant  -version,如果出现下面提示表示安装成功:

Ubuntu 下 Hadoop1.0.4 源码编译

Apache Ant 的详细介绍下载见 http://www.linuxidc.com/Linux/2013-08/88313.htm

Android 编译工具 Ant http://www.linuxidc.com/Linux/2013-05/84490.htm

(3)protobuf-2.5.0 的安装

首先到 protobuf 官方网站下载,https://code.google.com/p/protobuf/downloads/list,这里我下载最新版本,protobuf-2.5.0。

解压到 /usr/local/ 目录下:tar -zxvf  protobuf-2.5.0.tar.gz,并重命名为 protobuf

在进行下一步安装之前,我们要把一些必要的库或软件安装上:

apt-get install build-essential

apt-get install autoconf

apt-get install automake

apt-get install libtool

接下来按照:A、./configure  B、make  C、make check  D、make install 的步骤安装。

用 protobuf 替换 Hadoop 中 rpc 的返回值 http://www.linuxidc.com/Linux/2012-04/58852.htm

(4)jdk1.6 安装

这里见前面的文章即可,不在重复叙述。最好不要装 jdk1.7,会有一些兼容性问题导致不能安装成功。

Ubuntu 下安装 JDK7(附 Clojure 下载)http://www.linuxidc.com/Linux/2012-10/71557.htm

Ubuntu 12.04 下安装 JDK1.7 http://www.linuxidc.com/Linux/2012-06/62239.htm

CentOS6.3 安装 JDK 和环境配置 http://www.linuxidc.com/Linux/2012-09/70780.htm

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-08/105986p2.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计5529字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中