我有3个纱线节点管理器在一个纱线集群中工作,并且每个纱线节点的vcore可用性都存在问题。

例如,我有:

在第一个节点上:可用15个vcore,
在第二个节点上:不可使用vcores,
在第三个节点上:可用37个vcore。

现在,作业尝试启动并失败并显示错误:

“超出了队列的AM资源限制”

这是否与第二个节点上可用的非vcore相关,或者我可以以某种方式增加队列中的资源限制?

我还要提到的是,我有以下设置:

yarn.scheduler.capacity.maximum-am-resource-percent = 1.0

最佳答案

这意味着您的驱动程序已超出在“最大应用程序主资源”中配置的最大内存。您可以增加AM的最大内存,也可以减少作业中的驱动程序内存。

10-06 02:23