我试图了解YARN,并开始了解ApplicationMaster以及其他术语。

据我在Hadoop 1.x中了解,只有MR可以运行,但是随着需求的增长,创建YARN可以运行不同类型的作业,例如MR作业,基于Spark的作业等。

我的问题是:

每种作业(MR,Spark等)是否都有自己的ApplicationMaster,也就是说,对于MR,存在一种ApplicationMaster,对于基于Spark的作业,则是另一种ApplicationMaster?

最佳答案

您的问题的答案是Yes
是否想在 yarn 上编写新的应用程序? Hadoop文档中有一个section来说明如何操作。
Cloudera的article有助于理解YARN应用程序的启动过程。

希望了解Spark的Yarn ApplicationMaster实现。检查here

09-26 22:40