我在hdfs-size.xml中将dfs.block.size从64MB更改为1MB，然后运行Teragen来探索其对工作性能的影响。但是，映射任务的数量没有改变(我认为它应该变大，因为它与文件大小/块大小相等)。另外，完成工作所需的时间几乎相同。正常吗
最佳答案
TeraGen用于生成数据。因此，基本上，这不需要任何输入即可为TeraSort生成数据。
所以基本上没有。在这种情况下，映射器的数量不受块大小的影响。
关于hadoop - dfs.block.size对TeraGen的性能没有影响，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/22958204/