阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

如何使用Hadoop MapReduce实现不同复杂度的遥感产品算法

116次阅读
没有评论

共计 1097 个字符,预计需要花费 3 分钟才能阅读完成。

MapReduce 模型可分为单 Reduce 模式、多 Reduce 模式以及无 Reduce 模式,对于不同复杂度的指数产品生产算法,应根据需求选择不同的 MapReduce 计算模式。

1) 复杂度较低的产品生产算法

针对复杂度较低的遥感产品生产算法,一般只需使用一个 MapReduce 计算任务,此时应选择多 Reduce 模式或者无 Reduce 模式。

当指数产品算法涉及到的输入数据只包含一个文件时(如生产一景全球环境监测指数产品,只需用到一景 HDF 格式的 Modis 陆地二级产品数据),可选择无 Reduce 模式。其中,Map 阶段负责实现指数产品的核心算法。具体计算流程如下图:

如何使用 Hadoop MapReduce 实现不同复杂度的遥感产品算法

当指数产品算法涉及到的输入数据包含多个文件时(如生产一景草原干旱指数产品,需要用到地表反射率、地表温度、降雨量等不同产品),应选择多 Reduce 模式。其中,Map 阶段负责整理输入的数据,Reduce 阶段负责实现指数产品的核心算法。具体计算流程如下图:

如何使用 Hadoop MapReduce 实现不同复杂度的遥感产品算法

2)复杂度较高的产品生产算法

针对复杂度较高的遥感产品生产算法,一个 MapReduce 计算任务往往难以满足生产需求,此时需要使用多个 MapReduce 任务共同完成产品的生产任务。针对这种情况,可通过使用 Oozie 工作流引擎来控制多个 MapReduce 计算任务的工作流程,解决任务之间的依赖问题。oozie 的介绍及安装教程可参考另一篇博文:http://www.linuxidc.com/Linux/2014-12/110456.htm

Spark 颠覆 MapReduce 保持的排序记录  http://www.linuxidc.com/Linux/2014-10/107909.htm

在 Oracle 数据库中实现 MapReduce  http://www.linuxidc.com/Linux/2014-10/107602.htm

MapReduce 实现矩阵乘法 – 实现代码 http://www.linuxidc.com/Linux/2014-09/106958.htm

基于 MapReduce 的图算法 PDF  http://www.linuxidc.com/Linux/2014-08/105692.htm

Hadoop 的 HDFS 和 MapReduce  http://www.linuxidc.com/Linux/2014-08/105661.htm

MapReduce 计数器简介 http://www.linuxidc.com/Linux/2014-08/105649.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计1097字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中