在GPU上运行Hadoop任务？ParallelX或许将…

共计 2598 个字符，预计需要花费 7 分钟才能阅读完成。

在面对大规模计算密集型算法时，MapReduce 范式的表现并不总是很理想。为了解决其瓶颈，一支小型创业团队构建了名为 ParallelX 的产品——它将通过利用 GPU 的运算能力，为 Hadoop 任务带来显著的提升。

ParallelX 的联合创始人 Tony Diepenbrock 表示，这是一个“GPU 编译器，它能够把用户使用 Java 编写的代码转化为 OpenCL，并在亚马逊 AWS GPU 云上运行”。它的最终产品是一项与亚马逊 Elastic MapReduce 类似的服务，只不过不同之处在于它将利用 EC2 GPU 实例类型。

毫无疑问，亚马逊并不是唯一一家提供 GPU 服务器的云服务提供商，其他诸如 IBM/Softlayer 或 Nimbix 等公司也提供使用 NVidia GPU 的服务器。然而，当被问起 ParallelX 是否将会支持亚马逊之外的其他不同云服务提供商时，Tony 的答复是“暂时还没有，不过我们将拥有一套 SDK，供使用内部 Hadoop 集群的客户使用。大部分 GPU 云服务提供商在 HPC 云中提供 GPU，但我们希望能够以比较低廉的价格使用云服务中的 GPU。毕竟，这正是 Hadoop 的设计初衷——便宜的商用硬件。”

在更好地理解 ParallelX 编译器能够做哪些事情之前，我们需要了解现在有不同类型的 GPU，它们配备了不同的并行计算平台，例如 CUDA 或 OpenCL。Tony 提到，ParallelX 所适用的工作场景是“编译器将把 JVM 字节码转换为 OpenCL 1.2 的代码，从而能够通过 OpenCL 编译器编译为 Shader 汇编，以便在 GPU 上运行。现在同样也有一些 FPGA 硬件能够运行 OpenCL 代码，但是要想获得对于广义并行硬件的支持，可能还需要等到未来的某一天。”尽管 ParallelX 并不支持 Java 源代码中的反射或原生调用，它的目标依旧是确保开发者只须要对其 MapReduce 任务的代码进行必要的调整——越少越好。

随着 ParallelX 团队开始研究 I /O-Bound 任务的吞吐量增长，Tony 发现他们的产品“也能够支持实时处理、以 Pig 和 Hive 代码表示的查询，以及针对 I /O Bound 任务的大数据集流。在我们测试中，使用我们的流水线框架，I/ O 吞吐几乎能够达到 GPU 计算吞吐能力的水平。”

虽然 ParallelX 团队目前正在专注于针对亚马逊的 Hadoop 版本分支的努力，但他们也在规划为其他流行的 Hadoop 版本分支（例如 Cloudera’s CDH）进行开发，而且毫无疑问，在 ParallelX 的环境中，利用这些商业分支对 Hive 和 Pig 进行的诸多改进，将是一件非常有益的事情。

ParallelX 拥有独一无二的演进故事，Tony 在一篇文章中介绍了这个已经持续了 2.5 年的史诗般项目的历程：首先起于为某社团开发的一个社交网络，随后是用于 Facebook 的 Widget 插件，接下来则是一个识别剽窃代码的工具。这些项目拥有一些共性：图解分析与基于 GPU 的算法——几乎，ParallelX 的理念便由此自然而然地浮现出来了。

ParallelX 适合许多种不同的工作负载，不过它主要聚焦在像机器学习这样的高性能计算和图形处理这样的繁重分析方面。ParallelX 团队举了一个例子来说明其能力：它能够在一秒内，将一个大型社团联谊网络在单一 GPU 上进行集群——在过去，这需要并行利用六台计算机，耗时一小时才能完成。而且在实践中并无限制，任何针对 MapReduce 编写的程序都可以使用 ParallelX 编译为 GPU 可运行的代码。

ParallelX 团队正在规划在未来发布它的数据和白皮书，以展示这个“从 Hadoop 到 GPU”的编译器在面对现实世界中的工作负载时的性能。对于这个话题，社区的反响中存在一些轻微的不同声音。一些人正在等着阅读这份白皮书，而后再决定是否转型到 ParallelX。当这一消息在 Hacker News 上发布后，我们可以在评论中找到类似的言论：“非凡的声明需要非凡的佐证。”

现在，开发者已经能够使用 Aparapi，来体验一下在 Hadoop 上运用 GPU 能力的感觉。Aparapi 是一套 Java API，通过将 Java 字节码转化为 OpenCL，支持开发者在 GPU 上运行特定的代码段，而且这些代码段能够嵌入到任何用 Java 编写的 MapReduce 任务中。

在面向对复杂算法的需求越来越旺盛的研究人群，推广 Hadoop 的过程中，ParallelX 可能会成为意义深远的一步。例如，通过使用由 Apache Hama 推广的整体同步并行计算模型，图解分析算法能够获得非常好的性能表现，而如果 ParallelX 能够与诸如 Apache Giraph——它能够将图解分析算法作为 MapReduce 任务运行——这样的项目相结合，将为任何数据科学家的图解分析工具箱增添一件有价值的工具。

读者现在可以使用电子邮件地址，在线注册 ParallelX 的 Beta 版本。ParallelX 拟将支持一套免费增值计划（freemium plan），允许访问强大的 GPU，并使用有限的存储空间。

查看英文原文：Hadoop Jobs on GPU with ParallelX

转自 http://www.infoq.com/cn/news/2013/12/hadoop-gpu-parallelx

相关阅读 ：

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm