hadoop - 在Oozie中覆盖hadoop的mapreduce.fileoutputcommitter.marksuccessfuljobs

<property>
<name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name>
<value>false</value>
</property>

我想将上述属性覆盖为true。对于群集上的其余作业，该属性必须为false，但是在我的oozie工作流程中，我需要在作业完成后hadoop在输出目录中创建_SUCCESS文件。它是在写输出的工作流中的一个重要 Action 。请帮忙。

最佳答案

不幸的是，Hive通过设置它自己的NullOutputComitter来覆盖此功能:

conf.setOutputCommitter(NullOutputCommitter.class);

看到

src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java

看来您必须手动创建标志。我们已经为此提交了HIVE-3700。