Hadoop2.2 Ubuntu64位编译

116次阅读

没有评论

共计 1561 个字符，预计需要花费 4 分钟才能阅读完成。

Hadoop2.2 作为 release 不支持 Linux 的 64 位版本，需要自己手工编译。下面是我自己的安装过程：

1. 复制一个虚拟机。

2. 下载 hadoop-2.2.0-src.tar.gz 解压缩，并且拷贝到 Ubuntu 的 /opt 文件夹下：

sujx@ubuntu:/opt$ cp -r /mnt/hgfs/F/hadoop/soft/hadoop-2.2.0-src ./

3. 下载 protobuf-2.5.0.zip 并且解压缩后拷贝到 /opt 目录下，而后编译

安装依赖包：

sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

编译 protobuf

4. 修改 hadoop2.2 BUG

目前的 2.2.0 的 Source Code 压缩包解压出来的 code 有个 bug 需要 patch 后才能编译。否则编译 hadoop-auth 会提示下面错误：

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:

[ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[84,13] cannot access org.mortbay.component.AbstractLifeCycle

[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found

处理方式：https://issues.apache.org/jira/browse/HADOOP-10110

5. 正式编译：

mvn clean package -Pdist,native -DskipTests -Dtar

6. 编译后的文件位置：/opt/hadoop-2.2.0-src/hadoop-dist/target

把 hadoop-2.2.0 拷贝到 /opt 文件夹下就可以正常使用。

相关阅读 ：

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm