阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Eclipse执行Hadoop WordCount

377次阅读
没有评论

共计 3503 个字符,预计需要花费 9 分钟才能阅读完成。

前期工作

  我的 Eclipse 是安装在 Windows 下的,通过 Eclipse 执行程序连接 Hadoop,需要让虚拟机的访问地址和本机的访问地址保持在同一域内,虚拟机的地址更改前面的文章介绍过了,如果想改 windows 本机 ip 地址,打开“网络和共享中心“,点击左侧菜单”更改适配器设置“,选择相应连接网络进行 IpV4 属性地址修改即可。我虚拟机地址为 192.168.3.137 

准备工作

  地址配置好之后,在 Eclipse 上要安装 Hadoop 的插件(你可以参考源码自行修改)。

打开 Eclipse 安装路径 —\eclipse\plugins,把 hadoop-eclipse-plugin-1.1.2.jar 放到这个目录下。

windows 本机新建目录(本人在 E:\hadoopMapReduceDir),从 Linux 的 Hadoop 安装包内复制所有 jar 放到这个目录下备用。 

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

配置工作

  打开 Eclipse,在菜单栏点击 Window,showView 选择 Other 打开选择显示的窗口,如下

Eclipse 执行 Hadoop WordCount

 

  在 MapReduceTools 目录下找到这只大象,将它拖到 Eclipse 底部显示(和 Console 放一块)

Eclipse 执行 Hadoop WordCount

 

  点击大象,在下边空白区右击 选择 New Hadooplocation(见下图)

Eclipse 执行 Hadoop WordCount

 

  打开新建配置窗口,设置连接信息,下图是本机的连接配置名称自己填写,两个端口和 username 按图填写(Hadoop 默认的端口)

Eclipse 执行 Hadoop WordCount

 

  点击 Eclipse 菜单栏 Window —》Preference,找到 HadoopMap/Reduce,点击之后在右侧选择导入 Hadoop jar 的路径,这样以后新建 Hadoop 项目,jar 包会自动从该路径加载,路径上面已设,添加进来如图:

Eclipse 执行 Hadoop WordCount

 

创建项目

  点击 File—》other,打开新建对话框,创建 Map/ReduceProject 项目 NewHadoopTest

Eclipse 执行 Hadoop WordCount

 

  创建完成后你会看到 jar 包自动加载到项目之中

Eclipse 执行 Hadoop WordCount

 

  拷贝 Linux 下 Hadoop 的 src 目录下的 example java 项目 到刚刚创建的工程下 src 下,

Eclipse 执行 Hadoop WordCount里面就有 WordCount.java

  Linux 下启动 Hadoop(用 JPS 检查是否已启动),在 Eclipse 连接,连接成功后 Hadoop 目录就会显示如下

Eclipse 执行 Hadoop WordCount

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2014-09/106518p2.htm

修改代码

  现在设置方面基本完成,接下来就是针对 WordCount.java 所做的修改和 HDFS 路径配置

打开 WordCount.java(可能会报错),

   将 main 方法更改如下:

Eclipse 执行 Hadoop WordCount

 

  如果 GenericOptionsParser 报错,将 Hadoop-core-1.1.2.jar 加到项目中(或放到 jar 配置路径)。

新建 a.txt 文件,输入下面内容,保存

Eclipse 执行 Hadoop WordCount

 

  在 hadoopname 下 user—》hadoop 目录创建 input 文件夹,将文件 a.txt 上传到 HDFS input 上,过程如下(不要创建 output 目录,不然执行会报错,)

如果 HDFS 已有,可 Linux 使用命令 hadoop fs -rmr /output 删除)

Eclipse 执行 Hadoop WordCount

Eclipse 执行 Hadoop WordCount

 

在选择 Wordcount.java,右击 run as —》run configurations,打开 Arguments 填写 input out 路径(注意:input 和 output 路径中间是有空格的),这里我设置查询 input 下所有文件的单词出现次数。

Eclipse 执行 Hadoop WordCount

 

右击 WordCount.java,run as -àrun on hadoop 执行

Eclipse 执行 Hadoop WordCount

 

执行结束后,刷新 DFS Locations/ use/hadoop

自动生成 output 文件夹,点击可以看到执行结果。最终结果存放在 part-r-00000 中,双击查看即可

Eclipse 执行 Hadoop WordCount

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

前期工作

  我的 Eclipse 是安装在 Windows 下的,通过 Eclipse 执行程序连接 Hadoop,需要让虚拟机的访问地址和本机的访问地址保持在同一域内,虚拟机的地址更改前面的文章介绍过了,如果想改 windows 本机 ip 地址,打开“网络和共享中心“,点击左侧菜单”更改适配器设置“,选择相应连接网络进行 IpV4 属性地址修改即可。我虚拟机地址为 192.168.3.137 

准备工作

  地址配置好之后,在 Eclipse 上要安装 Hadoop 的插件(你可以参考源码自行修改)。

打开 Eclipse 安装路径 —\eclipse\plugins,把 hadoop-eclipse-plugin-1.1.2.jar 放到这个目录下。

windows 本机新建目录(本人在 E:\hadoopMapReduceDir),从 Linux 的 Hadoop 安装包内复制所有 jar 放到这个目录下备用。 

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

配置工作

  打开 Eclipse,在菜单栏点击 Window,showView 选择 Other 打开选择显示的窗口,如下

Eclipse 执行 Hadoop WordCount

 

  在 MapReduceTools 目录下找到这只大象,将它拖到 Eclipse 底部显示(和 Console 放一块)

Eclipse 执行 Hadoop WordCount

 

  点击大象,在下边空白区右击 选择 New Hadooplocation(见下图)

Eclipse 执行 Hadoop WordCount

 

  打开新建配置窗口,设置连接信息,下图是本机的连接配置名称自己填写,两个端口和 username 按图填写(Hadoop 默认的端口)

Eclipse 执行 Hadoop WordCount

 

  点击 Eclipse 菜单栏 Window —》Preference,找到 HadoopMap/Reduce,点击之后在右侧选择导入 Hadoop jar 的路径,这样以后新建 Hadoop 项目,jar 包会自动从该路径加载,路径上面已设,添加进来如图:

Eclipse 执行 Hadoop WordCount

 

创建项目

  点击 File—》other,打开新建对话框,创建 Map/ReduceProject 项目 NewHadoopTest

Eclipse 执行 Hadoop WordCount

 

  创建完成后你会看到 jar 包自动加载到项目之中

Eclipse 执行 Hadoop WordCount

 

  拷贝 Linux 下 Hadoop 的 src 目录下的 example java 项目 到刚刚创建的工程下 src 下,

Eclipse 执行 Hadoop WordCount里面就有 WordCount.java

  Linux 下启动 Hadoop(用 JPS 检查是否已启动),在 Eclipse 连接,连接成功后 Hadoop 目录就会显示如下

Eclipse 执行 Hadoop WordCount

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2014-09/106518p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计3503字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7982379
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
让微信公众号成为 AI 智能体:从内容沉淀到智能问答的一次升级

让微信公众号成为 AI 智能体:从内容沉淀到智能问答的一次升级

让微信公众号成为 AI 智能体:从内容沉淀到智能问答的一次升级 大家好,我是星哥,之前写了一篇文章 自己手撸一...
240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

  240 元左右!五盘位 NAS 主机,7 代 U 硬解 4K 稳如狗,拓展性碾压同价位 在 NA...
还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手! 前言 对于个人开发者、建站新手或是想搭建测试站点的从业者...
星哥带你玩飞牛NAS-1:安装飞牛NAS

星哥带你玩飞牛NAS-1:安装飞牛NAS

星哥带你玩飞牛 NAS-1:安装飞牛 NAS 前言 在家庭和小型工作室场景中,NAS(Network Atta...
150元打造低成本NAS小钢炮,捡一块3865U工控板

150元打造低成本NAS小钢炮,捡一块3865U工控板

150 元打造低成本 NAS 小钢炮,捡一块 3865U 工控板 一块二手的熊猫 B3 工控板 3865U,搭...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

  240 元左右!五盘位 NAS 主机,7 代 U 硬解 4K 稳如狗,拓展性碾压同价位 在 NA...
自己手撸一个AI智能体—跟创业大佬对话

自己手撸一个AI智能体—跟创业大佬对话

自己手撸一个 AI 智能体 — 跟创业大佬对话 前言 智能体(Agent)已经成为创业者和技术人绕...
开发者福利:免费 .frii.site 子域名,一分钟申请即用

开发者福利:免费 .frii.site 子域名,一分钟申请即用

  开发者福利:免费 .frii.site 子域名,一分钟申请即用 前言 在学习 Web 开发、部署...
恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击 PHP-FPM(FastCGl Process M...
星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛 NAS-12:开源笔记的进化之路,效率玩家的新选择 前言 如何高效管理知识与笔记,已经成为技术...