Spark和Hadoop，孰优孰劣？

共计 1696 个字符，预计需要花费 5 分钟才能阅读完成。

Spark 已经取代 Hadoop 成为最活跃的开源大数据项目。但是，在选择大数据框架时，企业不能因此就厚此薄彼。近日，著名大数据专家 Bernard Marr 在一篇 文章 中分析了 Spark 和 Hadoop 的异同。

Hadoop 和 Spark 均是大数据框架，都提供了一些执行常见大数据任务的工具。但确切地说，它们所执行的任务并不相同，彼此也并不排斥。虽然 在特定的情况下，Spark 据称要比 Hadoop 快 100 倍，但它本身没有一个分布式存储系统。而分布式存储是如今许多大数据项目的基础。它可以将 PB 级 的数据集存储在几乎无限数量的普通计算机的硬盘上，并提供了良好的可扩展性，只需要随着数据集的增大增加硬盘。因此，Spark 需要一个第三方的分布式存 储。也正是因为这个原因，许多大数据项目都将 Spark 安装在 Hadoop 之上。这样，Spark 的高级分析应用程序就可以使用存储在 HDFS 中的数据 了。

与 Hadoop 相比，Spark 真正的优势在于速度。Spark 的大部分操作都是在内存中，而 Hadoop 的 MapReduce 系统会在每次操作 之后将所有数据写回到物理存储介质上。这是为了确保在出现问题时能够完全恢复，但 Spark 的弹性分布式数据存储也能实现这一点。

另外，在高级数据处理（如实时流处理和机器学习）方面，Spark 的功能要胜过 Hadoop。在 Bernard 看来，这一点连同其速度优势是 Spark 越 来越受欢迎的真正原因。实时处理意味着可以在数据捕获的瞬间将其提交给分析型应用程序，并立即获得反馈。在各种各样的大数据应用程序中，这种处理的用途越 来越多，比如，零售商使用的推荐引擎、制造业中的工业机械性能监控。Spark 平台的速度和流数据处理能力也非常适合机器学习算法。这类算法可以自我学习 和改进，直到找到问题的理想解决方案。这种技术是最先进制造系统（如预测零件何时损坏）和无人驾驶汽车的核心。Spark 有自己的机器学习库 MLib，而 Hadoop 系统则需要借助第三方机器学习库，如 Apache Mahout。

实际上，虽然 Spark 和 Hadoop 存在一些功能上的重叠，但它们都不是商业产品，并不存在真正的竞争关系，而通过为这类免费系统提供技术支持 赢利的公司往往同时提供两种服务。例如，Cloudera 就既提供 Spark 服务也提供 Hadoop 服务，并会根据客户的需要提供最合适的建议。

Bernard 认为，虽然 Spark 发展迅速，但它尚处于起步阶段，安全和技术支持基础设施方还不发达。在他看来，Spark 在开源社区活跃度的上升，表明企业用户正在寻找已存储数据的创新用法。

更多 Spark 相关教程见以下内容：

CentOS 7.0 下安装并配置 Spark  http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群(在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

Spark 的详细介绍：请点这里
Spark 的下载地址：请点这里

本文永久更新链接地址：http://www.linuxidc.com/Linux/2015-12/125713.htm