阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

如何通过Web查看job的运行情况

119次阅读
没有评论

共计 663 个字符,预计需要花费 2 分钟才能阅读完成。

当我们将作业提交到 Hadoop 的集群上之后,我们会发现一个问题就是无法通过 web 查看 job 运行情况,比如启动了多少个 map 任务,启动多少个 reduce 任务啊,分配多少个 conbiner 等等。这些信息都是作业在运行是可以查看的。而我的想要的就是能够通过远程的 web 可以查看到作业 job 的运行情况,以及它的详细信息。

下面介绍一下查看的方式:

1、当你提交作业时,我们首先通过命令行的方式提交作业后,我们可以打开 Yarn 的 web 界面,如下图所示:

如何通过 Web 查看 job 的运行情况

在这个页面上可以看到作业的提交情况,若你提交作业之后会出现如下图所示:(请注意红色的矩形区域部分的变化)

如何通过 Web 查看 job 的运行情况

当 ApplicationMaster 启动起来后就会看到如下图所示:此时可以点击 ApplicationMaster 进入查看作业 job 在运行的详细状态。

如何通过 Web 查看 job 的运行情况

当作业运行完之后,我们可以看到上面第一幅图的样子。此时会显示 History 的状态,表示改作业已经运行完毕,如果想查看作业历史运行信息就可以点击 History 查看。若未启动 historyserver 的话,是无法查看作业 job 的历史记录的。因此需要启动作业的 historyserver。启动的方法是通过执行命令:mr-jobhistory-daemon.sh start historyserver。也可以通过 mapred historyserver 的方式来启动。

在这之前必须要在 mapred-site.xml 中配置相应的参数:

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2015-05/117501.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计663字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中