我需要从Java应用程序调用mapreduce作业。
我用
ToolRunner.run(new Validation(), pathsMoveToFinal.toArray(new String[pathsMoveToFinal.size()]));
如果我不设置conf的mapred.job.jobtracker，它将永远运行。 map task 变为100％，然后回落到其他百分比。如果我设置了mapred.job.jobtracker，它会抱怨找不到mapper类:
java.lang.RuntimeException: java.lang.ClassNotFoundException: utils.DataValidationExtractorMapper
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:809)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:157)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:569)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.Child.main(Child.java:170)
Caused by: java.lang.ClassNotFoundException: utils.DataValidationExtractorMapper
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:247)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:762)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:807)
... 4 more
任何人都可以给我一些提示。谢谢，祝您周末愉快。
最佳答案
由于您使用的是Maven，因此我强烈建议baking your dependencies statically into your JAR。
发生这种情况的原因是您的Mapper和Reducer JRE没有客户端类路径的预先存在的上下文。依赖关系的烘焙是面向 future 且稳定的，并且Hadoop应该非常高兴地使用此JAR。