如果有人将新作业提交到Apache YARN集群,则状态页面通常会指示该作业的实际提交方式(除其他外):
apache-spark - Yarn的 “Application Type”在哪里/如何定义?-LMLPHP

Application Type: SPARK

这表明用户最有可能使用了 Spark 提交来向资源管理器发布新作业。

是否可以通过参数更改字符串的值的方式与更改应用程序名称的方式相同?

最佳答案

当Spark设置 yarn 应用上下文时,将设置应用类型。

AFAIK,无法通过某些配置更改它。如果确实很重要,则必须在源代码中覆盖它。

下面的实现,
https://github.com/apache/spark/blob/01c3dfab158d40653f8ce5d96f57220297545d5b/resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala#L241

关于apache-spark - Yarn的 “Application Type”在哪里/如何定义?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/52233616/

10-11 04:10
查看更多