AWS中批处理任务运行架构

共计 739 个字符，预计需要花费 2 分钟才能阅读完成。

在很多生产环境中，经常需要执行一些批处理任务来完成特定的任务。亚马逊 AWS 为批处理任务的执行设计了一套比较完备的体系架构，如下图所示：

借助于 AWS EC2、RDS、SimpleDB、S3、Auto Scaling、SQS 等服务，可以轻松实现批处理任务的执行：

1. 在该架构的最上层，是一个运行在 EC2 虚拟机上的任务管理节点，该节点主要有下列功能：接收用户请求，控制任务流程的启动，保存静态、动态数据以及任务信息，并且在特定的应用环境下还可能会直接控制底层的 Worker 服务器；

2. 任务管理节点与底层 Worker 节点通过 SQS 的队列消息通信，任务管理节点接收到用户请求之后，就将任务信息发送到 SQS 的输入队列中，供 Worker 节点获取。采用队列的好处就是底层每个 Worker 节点都可以是独立的服务，并且管理节点和 Worker 节点松耦合，两者之间建立了一种异步接口调用关系；

3. 任务管理节点将一些静态内容保存到 S3 上，其他一些批处理任务信息保存到 SimpleDB 中；

4. 底层 Worker 节点同样部署在 EC2 虚拟机上，并且采用 Auto Scaling 对这些 Worker 虚拟机进行动态伸缩，以同时满足性能和预算要求，并且在某些批处理应用中 Worker 节点还可能需要从 S3 上获取到一些数据内容以便完成整个任务的处理；

5. 每个 Worker 都是独立的服务节点，它们均从输入队列获取任务请求然后各自处理，处理完成之后将结果消息按照特定的格式发送到输出队列中，供后续流程使用，或者直接由任务管理节点进行处理；

6. 这种架构非常适合批处理任务运行时间较长的应用，接口 API 均采用异步机制调用，并且能够自动伸缩，最大程度上满足性能要求并且又能在预算花费上进行权衡，各个模块之间的关系相对比较松散，非常便于部署。