是否可以从*mapreduce*.TaskAttemptID创建有效的*mapred*.JobConf？
背景
我需要为FileInputFormatAdapter编写一个ExistingFileInputFormat。问题在于适配器需要扩展mapred.InputFormat，而现有格式扩展mapreduce.InputFormat。
我需要构建一个mapreduce.TaskAttemptContextImpl，以便可以实例化ExistingRecordReader。但是，我无法创建有效的TaskId ... taskId显示为null。
因此，如何从mapred.JobConf获取taskId，jobId等。
特别是在适配器的getRecordReader中，我需要执行以下操作:
public org.apache.hadoop.mapred.RecordReader<NullWritable, MyWritable> getRecordReader(
org.apache.hadoop.mapred.InputSplit split, JobConf job, Reporter reporter) throws IOException {
SplitAdapter splitAdapter = (SplitAdapter) split;
final Configuration conf = job;
/*************************************************/
//The problem is here, "mapred.task.id" is not in the conf
/*************************************************/
final TaskAttemptID taskId = TaskAttemptID.forName(conf.get("mapred.task.id"));
final TaskAttemptContext context = new TaskAttemptContextImpl(conf, taskId);
try {
return new RecordReaderAdapter(new ExistingRecordReader(
splitAdapter.getMapRedeuceSplit(),
context));
} catch (InterruptedException e) {
throw new RuntimeException("Failed to create record-reader.", e);
}
}
此代码引发异常:
Caused by: java.lang.NullPointerException
at org.apache.hadoop.mapreduce.task.TaskAttemptContextImpl.<init>(TaskAttemptContextImpl.java:44)
at org.apache.hadoop.mapreduce.task.TaskAttemptContextImpl.<init>(TaskAttemptContextImpl.java:39)
' super (conf，taskId.getJobID());'引发异常，很可能是因为taskId为null。
最佳答案
我通过浏览HiveHbaseTableInputFormat找到了答案。由于我的解决方案针对 hive ，因此效果很好。
TaskAttemptContext tac = ShimLoader.getHadoopShims().newTaskAttemptContext(
job.getConfiguration(), reporter);
关于java - Hadoop-如何从mapred.JobConf中提取taskId？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/28466554/