hadoop - yarn不兑现yarn.nodemanager.resource.cpu-vcores

我正在使用Hadoop-2.4.0，我的系统配置是24核，96 GB RAM。

我正在使用以下配置

mapreduce.map.cpu.vcores=1
yarn.nodemanager.resource.cpu-vcores=10
yarn.scheduler.minimum-allocation-vcores=1
yarn.scheduler.maximum-allocation-vcores=4
yarn.app.mapreduce.am.resource.cpu-vcores=1

yarn.nodemanager.resource.memory-mb=88064
mapreduce.map.memory.mb=3072
mapreduce.map.java.opts=-Xmx2048m

容量调度程序配置

queue.default.capacity=50
queue.default.maximum_capacity=100
yarn.scheduler.capacity.root.default.user-limit-factor=2

通过上述配置，我希望yarn每个节点启动的映射器不会超过10个，但是它正在每个节点启动28个映射器。
难道我做错了什么？？

最佳答案

YARN运行的容器多于分配的内核，因为默认情况下使用DefaultResourceCalculator。它仅考虑内存。

public int computeAvailableContainers(Resource available, Resource required) {
// Only consider memory
return available.getMemory() / required.getMemory();
  }

使用DominantResourceCalculator，它同时使用cpu和内存。

在Capacity-scheduler.xml中的config下面设置

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

有关DominantResourceCalculator的更多信息