我读到Hadoop Map任务将其输出写入本地磁盘。

假设如果我只有 map task 而没有任何reducer,那么 map 输出是否仍将写入本地文件系统?

最佳答案

是的,它将仍然将输出写入FileOutputFormat.setOutputPath(JobConf,Path)设置的路径,并且不会进行排序或分区。

More info:

更新:正如克里斯·怀特(Chris White)所述,它将直接写入HDFS,而不是本地文件系统。

关于hadoop - 将映射任务的输出写入本地文件系统或HDFS?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/11060548/

10-15 22:19