基于AWS云服务的大数据与大规模计算的应用架构

共计 675 个字符，预计需要花费 2 分钟才能阅读完成。

AWS 对于大规模计算方案是很受欢迎的，如科学计算，模拟和研究项目。这些方案包括从科研设备，测量设备，或其他计算作业的大量数据集的采集。采集后，使用大规模计算作业的分析来生成最终数据集。通常，这些结果将提供给更多的受众。

1.  为了将大数据集上传到 AWS, 关键是拥有最多的可用带宽。通过多客户端的并行处理，就可以把数据上传到 S3, 每个客户端采用多线程技术实现并行上传或上传多部分以便进一步并行处理。像窗口调整和确认选择等 TCP 设置是可以调整的，以便进一步增强吞吐量。通过适当的优化，一天上传几 TB 是可能的。另一种上传大数据集的方法是 Amazon Import/Export 功能, 这一功能支持将存储设备发送给 AWS 同时直接插入到 Amazon S3 或者 Amazon EBS。

2.  大规模作业的并行处理是关键，现存的并行处理应用能够运行在多个 EC2 实例上. 如果应用程序需要一个 POSIX 风格的文件系统，那么无论是直接使用 HTTP 或使用 FUSE 层（例如，S3FS 或 SubCloud），并行应用程序对所有节点都可以从 S3 高效地读取和写入数据。

3.  一旦计算完成，结果数据也被存储到 S3, EC2 实例可以被关闭，并且将结果数据集就可被下载了，或者通过授予读取权限来指定用户，指定所有人或使用有限时间的 URL，完成输出数据与他人的共享。

4.  如果不用 S3, 也可以使用 Amazon EBS 保存输入数据，作为临时存储区，或者获得输出结果。在上传期间, 要同样采用并行流上传和 TCP 调整的技术。另外，还可以使用 UDP 使上传加速。结果数据集可以被写入 EBS 卷，时间快照可采取共享卷的方式。