我试图了解YARN,并开始了解ApplicationMaster
以及其他术语。
据我在Hadoop 1.x中了解,只有MR可以运行,但是随着需求的增长,创建YARN可以运行不同类型的作业,例如MR作业,基于Spark的作业等。
我的问题是:
每种作业(MR,Spark等)是否都有自己的ApplicationMaster,也就是说,对于MR,存在一种ApplicationMaster,对于基于Spark的作业,则是另一种ApplicationMaster?
最佳答案
您的问题的答案是Yes
。
是否想在 yarn 上编写新的应用程序? Hadoop文档中有一个section来说明如何操作。
Cloudera的article有助于理解YARN应用程序的启动过程。
希望了解Spark的Yarn ApplicationMaster实现。检查here