hadoop - 了解Hadoop模拟器Mumak

最近，我试图了解Mumak的工作原理(例如，MAPREDUCE-728)

它基本上需要作业跟踪和拓扑跟踪并模拟hadoop。
我不明白它如何在节点之间分配拆分。
mumak对本地 map task 和非本地任务意味着什么？

最佳答案

在MapReduce中，存在“局部性”的概念，它表示任务与正在处理的数据之间的距离有多远。最佳位置是在包含所需数据的节点上运行任务。第二好的位置是与包含数据的节点位于同一机架中的节点，等等。

Mumak可以通过使用配置文件中的以下设置来减慢在非本地节点上计划的任务的能力:

<property>
    <name>mumak.scale.racklocal</name>
    <value>1.5</value>
    <description>Scaling factor for task attempt runtime of rack-local over
    node-local</description>
</property>

<property>
    <name>mumak.scale.rackremote</name>
    <value>1.8</value>
    <description>Scaling factor for task attempt runtime of rack-remote over
    node-local</description>
</property>

关于hadoop - 了解Hadoop模拟器Mumak，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/8180335/