如何为你的企业选择正确的Hadoop版本

153次阅读

没有评论

共计 1831 个字符，预计需要花费 5 分钟才能阅读完成。

由于 Hadoop 还处于初期高速发展的节点，加上它又是开源的，因此它的版本一直很混乱，Hadoop 一些主要的特性有：

Append：支持文件追加功能，如果想使用 HBase，需要这个特性。
RAID：在保证数据可靠的前提下，通过引入校验码减少数据块数目。详细链接：https://issues.apache.org/jira/browse/HDFS/component/12313080
Symlink：支持 HDFS 文件链接，具体可参考：https://issues.apache.org/jira/browse/HDFS-245
Security：Hadoop 安全性，具体可参考：https://issues.apache.org/jira/browse/HADOOP-4487
NameNode HA：具体可参考：https://issues.apache.org/jira/browse/HDFS-1064
HDFS Federation 和 YARN

下面是 Hadoop 的版本演进：

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————–

Apache 版本下载：

各版本说明：http://hadoop.apache.org/releases.html
下载稳定版：找到一个镜像，下载 stable 文件夹下的版本
Hadoop 最全版本：http://svn.apache.org/repos/asf/hadoop/common/branches/，可直接导到 eclipse 中

Cloudera 发布版：

从上面我们可以知道，Apache 当前的版本管理是比较混乱的，各种版本层出不穷，让很多初学者不知所措，相比之下，Cloudera 公司的 Hadoop 版本管理的要很多。

我们知道，Hadoop 遵从 Apache 开源协议，用户可以免费地任意使用和修改 Hadoop，也正因此，市面上出现了很多 Hadoop 版本，其中比较出名的一是 Cloudera 公司的发行版，我们将该版本称为 CDH（Cloudera Distribution Hadoop）。截至目前为止，CDH 共有 4 个版本，其中，前两个已经不再更新，最近的两个，分别是 CDH3（在 Apache Hadoop 0.20.2 版本基础上演化而来的）和 CDH4 在 Apache Hadoop 2.0.0 版本基础上演化而来的），分别对应 Apache 的 Hadoop 1.0 和 Hadoop 2.0，它们每隔一段时间便会更新一次。

Cloudera 以 patch level 划分小版本，比如 patch level 为 923.142 表示在原生态 Apache Hadoop 0.20.2 基础上添加了 1065 个 patch（这些 patch 是各个公司或者个人贡献的，在 Hadoop jira 上均有记录），其中 923 个是最后一个 beta 版本添加的 patch，而 142 个是稳定版发行后新添加的 patch。由此可见，patch level 越高，功能越完备且解决的 bug 越多。

Cloudera 版本层次更加清晰，且它提供了适用于各种操作系统的 Hadoop 安装包，可直接使用 apt-get 或者 yum 命令进行安装，更加省事。

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完

星哥说事-微信公众号