Eclipse执行Hadoop WordCount

共计 3503 个字符，预计需要花费 9 分钟才能阅读完成。

前期工作

  我的 Eclipse 是安装在 Windows 下的，通过 Eclipse 执行程序连接 Hadoop，需要让虚拟机的访问地址和本机的访问地址保持在同一域内，虚拟机的地址更改前面的文章介绍过了，如果想改 windows 本机 ip 地址，打开“网络和共享中心“，点击左侧菜单”更改适配器设置“，选择相应连接网络进行 IpV4 属性地址修改即可。我虚拟机地址为 192.168.3.137 

准备工作

  地址配置好之后，在 Eclipse 上要安装 Hadoop 的插件（你可以参考源码自行修改）。

打开 Eclipse 安装路径 —\eclipse\plugins，把 hadoop-eclipse-plugin-1.1.2.jar 放到这个目录下。

windows 本机新建目录（本人在 E:\hadoopMapReduceDir），从 Linux 的 Hadoop 安装包内复制所有 jar 放到这个目录下备用。 

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm

配置工作

  打开 Eclipse，在菜单栏点击 Window，showView 选择 Other 打开选择显示的窗口，如下

  在 MapReduceTools 目录下找到这只大象，将它拖到 Eclipse 底部显示（和 Console 放一块）

  点击大象，在下边空白区右击 选择 New Hadooplocation(见下图)

  打开新建配置窗口，设置连接信息，下图是本机的连接配置名称自己填写，两个端口和 username 按图填写（Hadoop 默认的端口）

  点击 Eclipse 菜单栏 Window —》Preference，找到 HadoopMap/Reduce，点击之后在右侧选择导入 Hadoop jar 的路径，这样以后新建 Hadoop 项目，jar 包会自动从该路径加载，路径上面已设，添加进来如图：

创建项目

  点击 File—》other，打开新建对话框，创建 Map/ReduceProject 项目 NewHadoopTest

  创建完成后你会看到 jar 包自动加载到项目之中

  拷贝 Linux 下 Hadoop 的 src 目录下的 example java 项目 到刚刚创建的工程下 src 下，

里面就有 WordCount.java

  Linux 下启动 Hadoop（用 JPS 检查是否已启动），在 Eclipse 连接，连接成功后 Hadoop 目录就会显示如下

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-09/106518p2.htm

修改代码

  现在设置方面基本完成，接下来就是针对 WordCount.java 所做的修改和 HDFS 路径配置

打开 WordCount.java(可能会报错),

   将 main 方法更改如下：

  如果 GenericOptionsParser 报错，将 Hadoop-core-1.1.2.jar 加到项目中（或放到 jar 配置路径）。

新建 a.txt 文件，输入下面内容，保存

  在 hadoopname 下 user—》hadoop 目录创建 input 文件夹，将文件 a.txt 上传到 HDFS input 上，过程如下（不要创建 output 目录，不然执行会报错，）

如果 HDFS 已有，可 Linux 使用命令 hadoop fs -rmr /output 删除）

在选择 Wordcount.java，右击 run as —》run configurations，打开 Arguments 填写 input out 路径(注意：input 和 output 路径中间是有空格的)，这里我设置查询 input 下所有文件的单词出现次数。

右击 WordCount.java,run as -àrun on hadoop 执行

执行结束后，刷新 DFS Locations/ use/hadoop

自动生成 output 文件夹，点击可以看到执行结果。最终结果存放在 part-r-00000 中，双击查看即可

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

前期工作

  我的 Eclipse 是安装在 Windows 下的，通过 Eclipse 执行程序连接 Hadoop，需要让虚拟机的访问地址和本机的访问地址保持在同一域内，虚拟机的地址更改前面的文章介绍过了，如果想改 windows 本机 ip 地址，打开“网络和共享中心“，点击左侧菜单”更改适配器设置“，选择相应连接网络进行 IpV4 属性地址修改即可。我虚拟机地址为 192.168.3.137 

准备工作

  地址配置好之后，在 Eclipse 上要安装 Hadoop 的插件（你可以参考源码自行修改）。

打开 Eclipse 安装路径 —\eclipse\plugins，把 hadoop-eclipse-plugin-1.1.2.jar 放到这个目录下。

windows 本机新建目录（本人在 E:\hadoopMapReduceDir），从 Linux 的 Hadoop 安装包内复制所有 jar 放到这个目录下备用。 

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm

配置工作

  打开 Eclipse，在菜单栏点击 Window，showView 选择 Other 打开选择显示的窗口，如下

  在 MapReduceTools 目录下找到这只大象，将它拖到 Eclipse 底部显示（和 Console 放一块）

  点击大象，在下边空白区右击 选择 New Hadooplocation(见下图)

  打开新建配置窗口，设置连接信息，下图是本机的连接配置名称自己填写，两个端口和 username 按图填写（Hadoop 默认的端口）

  点击 Eclipse 菜单栏 Window —》Preference，找到 HadoopMap/Reduce，点击之后在右侧选择导入 Hadoop jar 的路径，这样以后新建 Hadoop 项目，jar 包会自动从该路径加载，路径上面已设，添加进来如图：

创建项目

  点击 File—》other，打开新建对话框，创建 Map/ReduceProject 项目 NewHadoopTest

  创建完成后你会看到 jar 包自动加载到项目之中

  拷贝 Linux 下 Hadoop 的 src 目录下的 example java 项目 到刚刚创建的工程下 src 下，

里面就有 WordCount.java

  Linux 下启动 Hadoop（用 JPS 检查是否已启动），在 Eclipse 连接，连接成功后 Hadoop 目录就会显示如下

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-09/106518p2.htm