Hadoop0.23.0初探7—使用Yarn构建属于自己的编程模型

五月 10th, 2012 by klose | 1 Comment | Filed in mapreduce, 海量数据存储与处理

一直闲置了很久的Hadoop-0.23.0初探系统文章,终于又回来了.Binos还在继续。 Hadoop0.23中将Yarn作为底层资源管理平台,使用Application Master与RM交互实现了作业逻辑与资源管理的分离,让一个分布式平台可以同时支持不同的作业逻辑,解决了单一MapReduce编程模型局限性、及扩展性的问题。然而,Yarn是如何支持MapReduce编程模型;它与之前版本的Hadoop运行时环境有何区别;Yarn提供了哪些特殊的功能,辅助设计人员能够快速开发满足不同需求的数据处理框架。通过对于这些问题的解读,能够让我们更加深入理解Yarn的架构和设计的初衷,也为用户提供了为应用定制编程模型的方法。 本文会首先介绍Yarn上如何支持MapReduce编程模型,然后再阐述在Yarn上构建的编程模型和运行时环境的方法,最后总结使用Yarn构建分布式系统的一些高级特性。 Yarn支持MapRed

Tags: