我读到Hadoop Map任务将其输出写入本地磁盘。
假设如果我只有 map task 而没有任何reducer,那么 map 输出是否仍将写入本地文件系统?
最佳答案
是的,它将仍然将输出写入FileOutputFormat.setOutputPath(JobConf,Path)设置的路径,并且不会进行排序或分区。
More info:
更新:正如克里斯·怀特(Chris White)所述,它将直接写入HDFS,而不是本地文件系统。
关于hadoop - 将映射任务的输出写入本地文件系统或HDFS?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/11060548/