hadoop - 如何将一个reducer的输出用作另一个mapper的输入？

我想从 reducer 的输出中提取不同的值。为此，我在单独的mapper和reducer中编写了代码。也就是说，我有一个mapper reducer用于生成训练文件，第二个mapper-reducer提供了与训练文件不同的行。我想要两个文件都用于测试。那么如何将第一个化简器的输出作为另一个映射器的输入呢？

最佳答案

您可以轻松地做到这一点:只需将第一个作业的输出目录作为输入目录传递给第二个作业。在此示例中，我将其称为 outputTempDir :

String inputDir = "/input";
String outputTempDir = "/output/Temp"
String outputFinalDir = "/output/Final"

Configuration conf = new Configuration();
Job job1 = Job.getInstance(conf, "JOB_1");
job1.setMapperClass(Mapper1.class);
job1.setReducerClass(Reducer1.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
FileInputFormat.addInputPath(job1, new Path(inputDir));
FileOutputFormat.setOutputPath(job1, new Path(outputTempDir));

boolean success = job1.waitForCompletion(true);
if (success) {
    Job job2 = Job.getInstance(conf, "JOB_2");
    job2.setMapperClass(Mapper2.class);
    job2.setReducerClass(Reducer2.class);
    job2.setInputFormatClass(KeyValueTextInputFormat.class);
    FileInputFormat.addInputPath(job2, new Path(outputTempDir));
    FileOutputFormat.setOutputPath(job2, new Path(outputFinalDir));
    success = job2.waitForCompletion(true);
}

return success;

确保第一个作业的输出格式与第二个作业的输入格式兼容。

关于hadoop - 如何将一个reducer的输出用作另一个mapper的输入？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/35475571/