我有3个纱线节点管理器在一个纱线集群中工作,并且每个纱线节点的vcore可用性都存在问题。
例如,我有:
在第一个节点上:可用15个vcore,
在第二个节点上:不可使用vcores,
在第三个节点上:可用37个vcore。
现在,作业尝试启动并失败并显示错误:
“超出了队列的AM资源限制”
这是否与第二个节点上可用的非vcore相关,或者我可以以某种方式增加队列中的资源限制?
我还要提到的是,我有以下设置:
yarn.scheduler.capacity.maximum-am-resource-percent = 1.0
最佳答案
这意味着您的驱动程序已超出在“最大应用程序主资源”中配置的最大内存。您可以增加AM的最大内存,也可以减少作业中的驱动程序内存。