2分钟读懂大数据框架Hadoop和Spark的异同

146次阅读

共计 2084 个字符，预计需要花费 6 分钟才能阅读完成。

谈到大数据，相信大家对 Hadoop 和 Apache Spark 这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。

2 分钟读懂大数据框架 Hadoop 和 Spark 的异同

解决问题的层面不一样

首先，Hadoop 和 Apache Spark 两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop 实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。

同时，Hadoop 还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。

两者可合可分

Hadoop 除了提供为大家所共识的 HDFS 分布式数据存储功能之外，还提供了叫做 MapReduce 的数据处理功能。所以这里我们完全可以抛开 Spark，使用 Hadoop 自身的 MapReduce 来完成数据的处理。

相反，Spark 也不是非要依附在 Hadoop 身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择 Hadoop 的 HDFS, 也可以选择其他的基于云的数据系统平台。但 Spark 默认来说还是被用在 Hadoop 上面的，毕竟，大家都认为它们的结合是最好的。

以下是天地会珠海分舵从网上摘录的对 MapReduce 的最简洁明了的解析:

我们要数图书馆中的所有书。你数 1 号书架，我数 2 号书架。这就是“Map”。我们人越多，数书就更快。
现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。

Spark 数据处理速度秒杀 MapReduce

Spark 因为其处理数据的方式不一样，会比 MapReduce 快上很多。MapReduce 是分步对数据进行处理的:”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等…“Booz Allen Hamilton 的数据科学家 Kirk Borne 如此解析。

反观 Spark，它会在内存中以接近“实时”的时间完成所有的数据分析：“从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成，”Born 说道。Spark 的批处理速度比 MapReduce 快近 10 倍，内存中的数据分析速度则快近 100 倍。

如果需要处理的数据和结果需求大部分情况下是静态的，且你也有耐心等待批处理的完成的话，MapReduce 的处理方式也是完全可以接受的。

但如果你需要对流数据进行分析，比如那些来自于工厂的传感器收集回来的数据，又或者说你的应用是需要多重数据处理的，那么你也许更应该使用 Spark 进行处理。

大部分机器学习算法都是需要多重数据处理的。此外，通常会用到 Spark 的应用场景有以下方面：实时的市场活动，在线产品推荐，网络安全分析，机器日记监控等。

灾难恢复

两者的灾难恢复方式迥异，但是都很不错。因为 Hadoop 将每次处理后的数据都写入到磁盘上，所以其天生就能很有弹性的对系统错误进行处理。

Spark 的数据对象存储在分布于数据集群中的叫做弹性分布式数据集 (RDD: Resilient Distributed Dataset) 中。“这些数据对象既可以放在内存，也可以放在磁盘，所以 RDD 同样也可以提供完成的灾难恢复功能，”Borne 指出。

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm