Ubuntu 14.04下Hadoop Eclipse 环境配置教程

129次阅读

没有评论

共计 5038 个字符，预计需要花费 13 分钟才能阅读完成。

学习 Hadoop 有两天了，配置 Hadoop 到环境也用了两天，将自己在 Ubuntu 14.04 下 Hadoop Eclipse 环境配置过程写在这里，希望对大家有所帮助！

我将文中用到的所有资源都分享到了 Linuxidc.com 的资源网站里，不需要一个个的找啦！

—————————————— 分割线 ——————————————

FTP 地址：ftp://ftp1.linuxidc.com

用户名：ftp1.linuxidc.com

密码：www.linuxidc.com

在 2014 年 LinuxIDC.com\6 月 \Ubuntu 14.04 下 Hadoop Eclipse 环境配置教程

下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm

—————————————— 分割线 ——————————————

其中有《Hadoop 技术内幕：深入解析 MapReduce 架构设计与实现原理》这本书（PDF 高清扫描版下载见 http://www.linuxidc.com/Linux/2014-06/103576.htm），第一章讲述了这个配置过程，但是不详细~

————— 安装 jdk——————————-
1.
下载 jdk1.6.0_45

2. 解压到 opt 文件夹下，配置 /etc/profile，在文件尾部加上
#set java environment
JAVA_HOME=/opt/jdk1.6.0_45
export JRE_HOME=/opt/jdk1.6.0_45/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

3. 然后用 source /etc/profile 来重新执行刚修改的初始化文件(profile)

4. 配置默认程序
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300

然后执行以下代码选择我安装到 jdk 版本：
update-alternatives –config java
5. 之后就可以用 java -version 来查看 java 的版本了

Ubuntu 下安装 JDK7（附 Clojure 下载）http://www.linuxidc.com/Linux/2012-10/71557.htm

Ubuntu 12.04 下安装 JDK1.7 http://www.linuxidc.com/Linux/2012-06/62239.htm

CentOS6.3 安装 JDK 和环境配置 http://www.linuxidc.com/Linux/2012-09/70780.htm

————— 安装 eclipse——————————-
1. 从官网下载 java 版到 eclipse
http://mirror.neu.edu.cn/eclipse/technology/epp/downloads/release/kepler/SR2/eclipse-java-kepler-SR2-linux-gtk.tar.gz
2. 解压到 /home/simon 文件夹下
3. 用 vi 建立 shell 脚本命名为 eclipse
vi /usr/local/bin/eclipse
内容如下：
/home/simon/eclipse/eclipse
4. 为脚本 eclipse 添加可执行权限：chmod +x /usr/local/bin/eclipse
5. 直接输入 eclipse 来启动它了

————— 安装 ant——————————-
1. 下载 ant
http://mirror.esocc.com/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz
2. 解压复制到 /home/simon 文件夹下
3. 修改 /etc/profile 文件
export ANT_HOME=/home/simon/apache-ant-1.9.4
export PATH=$PATH$:$ANT_HOME/bin
4. 然后用 source /etc/profile 来重新执行刚修改
5. 输入 ant -version 验证安装成功
Apache Ant(TM) version 1.9.4 compiled on April 29 2014

如何在 Linux 服务器上安装 apache ant？ http://www.linuxidc.com/Linux/2012-06/63014.htm

Apache Ant 的详细介绍下载见 http://www.linuxidc.com/Linux/2013-08/88313.htm

Android 编译工具 Ant http://www.linuxidc.com/Linux/2013-05/84490.htm

————— 安装 hadoop——————————-
1. 修改机器名称，编辑 /etc/hostname 修改为 localhost
2. 配置 ssh 无密码登录
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
apt-get install openssh-server
3. 如果命令 ssh localhost 不成功，则需要启动 ssh 服务
通过以下命令启动 ssh 服务
service ssh start
/etc/init.d/ssh start
如果还是启动失败，那就重启吧，管用

3. 配置 hadoop
（1）编辑 conf/hadoop-env.sh，修改 JAVA_HOME 的值：
export JAVA_HOME=/opt/jdk1.6.0_45
（2）编辑 conf/mapred-site.xml，添加内容：
<property>
<name>mapred.job.tracker</name>
<value>http://localhost:9001</value>
</property>
(3) 编辑 conf/hdfs-site.xml，添加内容：
<property>
<name>dfs.name.dir</name>
<value>/home/simon/name</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/home/simon/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(4)编辑 conf/core-site.xml，添加内容：
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.0.0/tmp</value>
</property>
(5)
格式化 hdfs：bin/hadoop namenode -format
启动 hadoop：bin/start-all.sh
如果显示没有权限，可能是文件无权限，或者文件到用户不是当前用户（root）
可以尝试 chmod +x 文件名
chown root:root bin/*

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

——————- 配置 eclipse 插件 —————
1. 将 hadoop-eclipse-plugin-1.0.0.jar 复制到 eclipse 目录下到 plugins 文件夹下
2. 打开 eclipse
window-showview-other… 对话框中选择 MapReduce Tools – Map/Reduce Locations
如果对话框中没有，则：%eclispe_dir%/configration/config.ini 文件，发现里面有一项 org.eclipse.update.reconcile=false 配置，改成 true 后重新进入 eclipse
3. 在 Project Explorer 中就可以看到 DFS Locations 了，如果可以向下点开几个文件夹，说明配置成功

启动 eclipse：
env UBUNTU_MENUPROXY= /home/simon/eclipse/eclipse 启动 eclipse，注意等号和 eclipse 路径之间有个空格

Hadoop Eclipse 插件编译安装 1.2.0 http://www.linuxidc.com/Linux/2013-07/87428.htm

Hadoop 在 Eclipse 中的插件编译 http://www.linuxidc.com/Linux/2013-04/83295.htm

Hadoop 1.2.1 编译 Eclipse 插件 http://www.linuxidc.com/Linux/2013-10/91666.htm
—————— 运行 Java 程序 ——————–

1. 配置输入输出到路径

在程序中右击 –Run As–Run Configurations..–Argument

里填入

hdfs://localhost:9000/test/input hdfs://localhost:9000/test/output

中间用空格间隔，分别为输入输出到路径

2. 导入 hadoop 中到 jar 包，右击项目 –Properties– 左边选 Java Build Path– 右边选 Libraries– 右边点击 Add External JARs…

在 hadoop/lib/ 这个路径中选需要到 jar 包，如果不知道选哪个，那就全选！～（无奈）

3. 在程序中右击 –Run As–Run on hadoop 运行程序

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13