阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

如何为你的企业选择正确的Hadoop版本

167次阅读
没有评论

共计 1831 个字符,预计需要花费 5 分钟才能阅读完成。

由于 Hadoop 还处于初期高速发展的节点,加上它又是开源的,因此它的版本一直很混乱,Hadoop 一些主要的特性有:

 

  • Append:支持文件追加功能,如果想使用 HBase,需要这个特性。
  • RAID:在保证数据可靠的前提下,通过引入校验码减少数据块数目。详细链接:https://issues.apache.org/jira/browse/HDFS/component/12313080
  • Symlink:支持 HDFS 文件链接,具体可参考:https://issues.apache.org/jira/browse/HDFS-245
  • Security:Hadoop 安全性,具体可参考:https://issues.apache.org/jira/browse/HADOOP-4487
  • NameNode HA:具体可参考:https://issues.apache.org/jira/browse/HDFS-1064
  • HDFS Federation 和 YARN
下面是 Hadoop 的版本演进:
如何为你的企业选择正确的 Hadoop 版本

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————–

 
Apache 版本下载:
  • 各版本说明:http://hadoop.apache.org/releases.html
  • 下载稳定版:找到一个镜像,下载 stable 文件夹下的版本
  • Hadoop 最全版本:http://svn.apache.org/repos/asf/hadoop/common/branches/,可直接导到 eclipse 中
Cloudera 发布版:
从上面我们可以知道,Apache 当前的版本管理是比较混乱的,各种版本层出不穷,让很多初学者不知所措,相比之下,Cloudera 公司的 Hadoop 版本管理的要很多。
我们知道,Hadoop 遵从 Apache 开源协议,用户可以免费地任意使用和修改 Hadoop,也正因此,市面上出现了很多 Hadoop 版本,其中比较出名的一是 Cloudera 公司的发行版,我们将该版本称为 CDH(Cloudera Distribution Hadoop)。截至目前为止,CDH 共有 4 个版本,其中,前两个已经不再更新,最近的两个,分别是 CDH3(在 Apache Hadoop 0.20.2 版本基础上演化而来的)和 CDH4 在 Apache Hadoop 2.0.0 版本基础上演化而来的),分别对应 Apache 的 Hadoop 1.0 和 Hadoop 2.0,它们每隔一段时间便会更新一次。
如何为你的企业选择正确的 Hadoop 版本

 

Cloudera 以 patch level 划分小版本,比如 patch level 为 923.142 表示在原生态 Apache Hadoop 0.20.2 基础上添加了 1065 个 patch(这些 patch 是各个公司或者个人贡献的,在 Hadoop jira 上均有记录),其中 923 个是最后一个 beta 版本添加的 patch,而 142 个是稳定版发行后新添加的 patch。由此可见,patch level 越高,功能越完备且解决的 bug 越多。

Cloudera 版本层次更加清晰,且它提供了适用于各种操作系统的 Hadoop 安装包,可直接使用 apt-get 或者 yum 命令进行安装,更加省事。

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计1831字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中