嗨,我想知道jobconf和job对象之间的基本区别,目前我正在像这样提交我的工作
JobClient.runJob(jobconf);
我看到了其他提交工作的方式
Configuration conf = getConf();
Job job = new Job(conf, "secondary sort");
job.waitForCompletion(true);
return 0;
以及如何使用jobconf为作业指定sortcomparator类?
谁能解释这个概念?
最佳答案
简而言之:JobConf
和org.apache.hadoop.mapred
包中的所有其他内容都是用于编写hadoop作业的旧API的一部分,Job
和org.apache.hadoop.mapreduce
包中的所有内容均是编写hadoop作业的新的首选API的一部分。两种API通常都提供等效的核心功能。
如果您不熟悉hadoop,请开始使用新的API(即Job
和Configuration
而不是JobConf
)。确保不从mapred
包中导入任何内容。当您使用旧的API在互联网上找到示例时,可以使用this presentation或this guide将其转换为新的API。