我正在从Hadoop 1.0迁移到YARN启用群集。在1.0中运行即席作业时,我们根据作业跟踪器中报告的可用性指定了 reducer 的数量,以加快处理速度。现在,在YARN“所有应用程序”网络链接中,我们没有看到有关可用性的任何此类专栏/信息。是否有任何配置文件或在Web链接中我们可以获得此信息?

最佳答案

yarn 中没有更多插槽。

取而代之的是,一切取决于正在使用/需求的内存量。您可以配置yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores来控制任务。

有关配置文件示例的更多信息,请参见:
http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

10-01 18:56
查看更多