YARN之上的大数据框架REEF:微软出品,是否值得期待?

 
摘要:微软即将开源大数据框架REEF,REEF运行于Hadoop新一代资源管理器YARN的上层。对于机器学习等在数据传输、任务监控和结果集迭代等方面有特殊要求的作业,YARN并不理想,REEF可以解决这些问题。

微软开发了一个名为REEF(Retainable Evaluator Execution Framework)的大数据框架,并计划在一个月左右将其开源。YARN作为新一代Hadoop资源管理器,尤其适合构建机器学习的作业,REEF就运行在YARN的上层。

8月12日上午,在芝加哥举行的Knowledge Mining and Data Discovery国际会议上,微软技术研究员兼信息服务CTO Raghu Ramakrishnan介绍了REEF框架和微软的开源计划。

YARN之上的大数据框架REEF:微软出品,是否值得期待?-LMLPHP

YARN作为Apache Hadoop项目的一部分,是一个资源管理器,用户可以运行和管理同一个物理集群机上的多种作业,例如MapReduce批处理和图形处理作业。这样不仅可以巩固一个组织管理的系统数目,而且可以对相同的数据进行不同类型的数据分析。某些情况下,整个数据流可以执行在同一个集群机上。

Ramakrishnan解释说,对于某些类型的作业,例如机器学习,YARN并不是一个理想的框架,因为这些作业对于数据传输、任务监控和结果集迭代等方面有一些特殊的要求。

Ramakrishnan说REEF可以解决这些问题,REEF分为两个部分:Evaluator和Activity。Evaluator是YARN的容器,包括REEF服务和Activity(用户代码)都运行在Evaluator内。他展示了一个工作流示例,YARN可以向上构建一个Evaluator,Activity代码会在Evaluator运行和完成,这时同一个Evaluator可以再次恢复初始状态运行起来,以便其它的Activity继续运行。

YARN之上的大数据框架REEF:微软出品,是否值得期待?-LMLPHP

从理论上来说,REEF是一个有趣的技术,它试图去解决一些公司进行数据分析时的遗留问题。同时值得注意的是,REEF在某种程度上表明了微软拥抱Hadoop和开源的强烈意愿。几年前,微软只是致力于开发Hadoop的替代品和专有平台。而现在,它也在推动Hadoop社区的工作并提高自身代码的开放度。(编译/周小璐 审校/仲浩)

原文链接:Microsoft to open source a big data framework called REEF

04-27 03:45