我已将MultipleOutputs配置为生成2个命名输出。我想发送一个到s3n://,另一个发送到hdfs://
这可能吗?

最佳答案

目前无法使用可用的API。

如果Hadoop MapReduce当前仅适用于(配置的输出目录的)子目录输出名称,则MultipleOutputs类可用于处理side-effects caused by speculative execution

但是,您可以重新实现该类(或从该类派生),以支持该类,因为这并非不可能实现。如果计划使实现支持推测性执行,则可能还需要更复杂的OutputCommitter实现。

08-08 01:30