我已将MultipleOutputs配置为生成2个命名输出。我想发送一个到s3n://
,另一个发送到hdfs://
这可能吗?
最佳答案
目前无法使用可用的API。
如果Hadoop MapReduce当前仅适用于(配置的输出目录的)子目录输出名称,则MultipleOutputs
类可用于处理side-effects caused by speculative execution。
但是,您可以重新实现该类(或从该类派生),以支持该类,因为这并非不可能实现。如果计划使实现支持推测性执行,则可能还需要更复杂的OutputCommitter实现。