Fedora 20 编译Hadoop-eclipse 1.1.2插件(Hadoop开发环境搭建)

共计 3957 个字符，预计需要花费 10 分钟才能阅读完成。

Fedora 20 Hadoop 开发环境搭建

1、配置信息：

操作系统：fedora 20 X86

eclipse 版本：eclipse-jee-helios-SR2-linux-gtk.tar.gz(最好选用 Galileo 或 Helios，不然可能有兼容问题)

hadoop 版本：hadoop-1.1.2.tar.gz

ant 版本：apache-ant-1.9.3-bin.tar.gz

2、编译生成 hadoop-eclipse-plugin-1.1.2.jar

2.1 修改 ${hadoop.root}/src/contrib 目录的 build-contrib.xml 文件，添加 eclipse 路径和 hadoop 版本信息

<property name=”eclipse.home”location=”/hugl/Android/eclipse”/>
<property name=”version”value=”1.1.2″/>

如图所示：

2.2 修改 ${hadoop.root}/src/contrib/eclipse-plugin 目录下的 build.xml 文件，在 id 为 classpath 的 path 节点添加 hadoop-core 的 jar 依赖, 添加如下一条记录

<pathelement location=”${hadoop.root}/hadoop-core-1.1.2.jar”/>

如图所示：

同时修改找到 name 为 jar 的 target，将相应的 jar 文件打包进插件的 lib 目录

将原来的 <copy file=”${hadoop.root}/build/hadoop-core-${version}.jar” tofile=”${build.dir}/lib/hadoop-core.jar” verbose=”true”/>
<copy file=”${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar” todir=”${build.dir}/lib” verbose=”true”/> 两行记录注释掉，将如下结果添加在此处：

<copy file=”${hadoop.root}/hadoop-core-${version}.jar” tofile=”${build.dir}/lib/hadoop-core.jar” verbose=”true”/>
<copy file=”${hadoop.root}/lib/commons-cli-${commons-cli.version}.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/commons-lang-2.4.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/commons-configuration-1.6.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/jackson-core-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/commons-httpclient-3.0.1.jar” todir=”${build.dir}/lib” verbose=”true”/>

如图所示：

2.3 修改 MANIFEST.MF 文件里面 Bundle-ClassPath 属性值

修改结果为：Bundle-ClassPath: classes/,lib/Hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar

如图所示：

3、在命令行进入 ${hadoop.root}/src/contrib/eclipse-plugin 目录，输入 ant 命令
最后在 ${hadoop.root}/build/contrib/eclipse-plugin 目录生成打包好的插件，将 hadoop-eclipse-plugin-1.1.2.jar 文件复制到 eclipse 的 plugins 目录

4、点击 Eclipse->Window->Open Perspectice->other 选择 Map/Reduce, 如图所是：

5、点击 Eclipse->Window->show view->other 选择 Map/Reduce Locations, 如图所是：

6、在 eclipse 右下侧，右键选择选择 New hadoop location, 配置好后就 ok 了

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

更多 Fedora 相关信息见Fedora 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=5

Fedora 20 Hadoop 开发环境搭建

1、配置信息：

操作系统：fedora 20 X86

eclipse 版本：eclipse-jee-helios-SR2-linux-gtk.tar.gz(最好选用 Galileo 或 Helios，不然可能有兼容问题)

hadoop 版本：hadoop-1.1.2.tar.gz

ant 版本：apache-ant-1.9.3-bin.tar.gz

2、编译生成 hadoop-eclipse-plugin-1.1.2.jar

2.1 修改 ${hadoop.root}/src/contrib 目录的 build-contrib.xml 文件，添加 eclipse 路径和 hadoop 版本信息

<property name=”eclipse.home”location=”/hugl/Android/eclipse”/>
<property name=”version”value=”1.1.2″/>

如图所示：

2.2 修改 ${hadoop.root}/src/contrib/eclipse-plugin 目录下的 build.xml 文件，在 id 为 classpath 的 path 节点添加 hadoop-core 的 jar 依赖, 添加如下一条记录

<pathelement location=”${hadoop.root}/hadoop-core-1.1.2.jar”/>

如图所示：

同时修改找到 name 为 jar 的 target，将相应的 jar 文件打包进插件的 lib 目录

将原来的 <copy file=”${hadoop.root}/build/hadoop-core-${version}.jar” tofile=”${build.dir}/lib/hadoop-core.jar” verbose=”true”/>
<copy file=”${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar” todir=”${build.dir}/lib” verbose=”true”/> 两行记录注释掉，将如下结果添加在此处：

<copy file=”${hadoop.root}/hadoop-core-${version}.jar” tofile=”${build.dir}/lib/hadoop-core.jar” verbose=”true”/>
<copy file=”${hadoop.root}/lib/commons-cli-${commons-cli.version}.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/commons-lang-2.4.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/commons-configuration-1.6.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/jackson-core-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>
<copy file=”${hadoop.root}/lib/commons-httpclient-3.0.1.jar” todir=”${build.dir}/lib” verbose=”true”/>

如图所示：