阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

关于Apache Mesos的一些想法

146次阅读
没有评论

共计 1023 个字符,预计需要花费 3 分钟才能阅读完成。

我关注 Apache Mesos 很长时间了。Apache Mesos 从研究论文开始,2010 年成为 Apache 孵化项目,后来从 ASF“毕业”,并于 2013 年建立商业实体 Mesosphere。

过去的几个月,发生了许多事,因此我想,这是个好机会来写写关于 Mesos 和其生态的文章。

关于 Mesos 和 YARN 已经有很多讨论了。我也看到过诸如“Mesos 的资源请求模型非常落后”的评论,也注意到 Mesos 在过去几年变得更加流行。这里的关键因素之一也许是 Docker 天花乱坠般的宣传以及各自对于协作层的需要。在本篇的末尾,我们会再一次回到 Mesos vs. YARN 的话题。

我承认之前自己并没有完全理解 Mesos 的真正潜力,直到那天坐着读完 Mesos 研究论文,它包括设计哲学、资源分配、隔离保证和容错。

Mesos 应对的核心挑战是,在不了解一个框架的前提下如何满足对框架的 约束(constraints),这也是资源分配中最难以理解的地方。Mesos 处理资源的方式就像家长主持一个孩子的生日派对:好比你要为 15 个孩子(== 框架)提供食物(== 资源),并且不可能知道他们的喜好(== 安置倾向)。但你可以提供给他们一块披萨或者一碗芝麻菜,并且他们可以免费接受(现在 或一会之后)或者拒绝。而且,刚接一位客人下车的爸爸也许会告诉你,那人的小孩是素食主义者,那么提供牛肉汉堡(== 过滤物)给那个小孩就说不通了。

关于 Apache Mesos 的一些想法

有一个有趣的事实(虽然我认为这是公知的),Mesos 和 Spark 有一个共同点:Matei Zaharia——来自一个靠近加拿大安大略的小镇——他是加州伯克利分校 AMP 实验室的学生,这个实验室为 Mesos 和 Spark 都做了巨大贡献。最近,他出任 Databricks 的 CTO,Databricks 是一家指导 Spark 的商业实体公司。

关于 Apache Mesos 的一些想法

回到 Mesos vs. YARN——幸运的是最近这不再是一个二选一的问题了:使用 Myriad 项目(由 eBay、Mesosphere 和 MapR 的共同开发,现在交由 ASF 孵化),你可以让它们在集群中共存并调度它们。简而言之,是一个 Mesos 框架用来 动态扩展 YARN 集群,并支持运行 Hadoop 应用,如 Spark 和非 Hadoop 应用,如 Node.js、Memcached、RoR 等。激动人心的时刻!

这就是我个人对于 Apache Mesos 的看法,写于 2015 年二月中旬。我会继续关注 Myriad,作为初学者的你如果还未尝试,或许你可以试试测试驱动 Mesos。

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计1023字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中