HDFS 进化，Hadoop 即将拥抱对象存储？

共计 1799 个字符，预计需要花费 5 分钟才能阅读完成。

Hortonworks 在博客中提出了一个全新的 Hadoop 对象存储环境——Ozone，能将 HDFS 从文件系统扩展成更加复杂的企业级存储层。

Hadoop 社区的一些成员今日提议为 Hadoop 增加一个新的对象存储环境，这样一来 Hadoop 就能以与亚马逊 S3、微软 Azure 以及 OpenStack Swift 等云存储服务一样的方式去存储数据。

Hadoop 发行商 Hortonworks 本周二在官网发博文指 出，随着越来越多的企业采用 Apache Hadoop，Hadoop 已经成了各种企业数据的“数据湖”（Data Lake），其中很多适合大数据分析应用的数据类型非常适合采用 HDFS，但是在某些行业应用案例中 HDFS 又难以胜任，这就需要扩展 Hadoop 的存储 维度。例如，对象存储或 Key-Value 存储具备 Hadoop HDFS 的可靠性、一致性和可用性，但对语法、API 和可扩展性的要求不同，Hadoop 的存储系统需要向多面手进化，以适应新的存储应用需求。

不同行业大数据分析涉及的数据类型  数据来源：Hortonworks

Hortonworks 在博客中提出了一个全新的 Hadoop 对象存储环境——Ozone，能将 HDFS 从文件系统扩展成更加复杂的企业级存储层。（编者按：虽然 Hadoop 已经支持第三方对象数据存储，例如亚马逊 S3 云和数据中心里的 OpenStack Swift，但是 Hadoop 原生的对象存储功能对于希望将 Hadoop 作为未来应用存储层的开发者来说依然非常有价值。）

过去，HDFS 架构将元数据管理与数据存储层分离成两个相互独立的层。文件数据存储在包含有上千个存储服务器（节点）的存储层，而元数据存储在文件 元数据层——一个数量相对少些的服务器群（名称节点）。HDFS 这种分离方式使得应用直接从存储磁盘读写数据时能够获得很高的吞吐量扩展空间。

Ozone 使得 HDFS 块存储层能够进一步支持非文件性质的系统数据，而 HDFS 的文件块架构也将能够支持存储键值和对象。与 HDFS 的名称空间元 数据类似，Ozone 的元数据系统也基于块存储层，但是 Ozone 的元数据将被动态分配，支持大量的 bucket space。（上图）

Hortonworks 认为 HDFS 将自然进化成一个完整的企业大数据存储系统，而 Ozone 也将以 Apache 项目（HDFS-7240）的方式开源。

Hortonworks 给 Ozone 规划了以下几个目标：

• 可扩展支持数以万亿的数据对象。

• 广泛支持各种对象大小，从几 KB 到几十兆。

• 保证不低于 HDFS 的可靠性、一致性和可用性。

• 基于 HDFS 的数据块层。

• 提供基于 REST 的 API 来访问和操作数据。

• 为获取更高的可用性，能支持数据中心间的数据复制。

————————————– 分割线 ————————————–

将本地文件拷到 HDFS 中 http://www.linuxidc.com/Linux/2013-05/83866.htm

从 HDFS 下载文件到本地 http://www.linuxidc.com/Linux/2012-11/74214.htm

将本地文件上传至 HDFS http://www.linuxidc.com/Linux/2012-11/74213.htm

HDFS 基本文件常用命令 http://www.linuxidc.com/Linux/2013-09/89658.htm

Hadoop 中 HDFS 和 MapReduce 节点基本简介 http://www.linuxidc.com/Linux/2013-09/89653.htm

《Hadoop 实战》中文版 + 英文文字版 + 源码【PDF】http://www.linuxidc.com/Linux/2012-10/71901.htm

Hadoop: The Definitive Guide【PDF 版】http://www.linuxidc.com/Linux/2012-01/51182.htm

————————————– 分割线 ————————————–

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13