java - 在Hadoop的MapReduce程序中运行Jar文件时出错

我正在尝试将代码编译成JAR文件，以便与Hadoop的MapReduce结合使用。我的主要类是VectorMaker.java，导演结构如下。

RandomForestVectors
 /bin
 /lib
   /hadoop-core-1.2.0.jar
   /mahout-core-0.7.jar
   /mahout-math-0.7.jar
   /opencsv-2.3.jar
 /VectorMaker.java

这些是我用来制作JAR文件的命令。

   javac -classpath "./lib/*" -d ./bin ./VectorMaker.java
   jar cf VectorMaker.jar -C "./bin/" . &

这是我用来尝试将我的JAR文件作为Hadoop MapReduce程序运行的命令。

hadoop jar VectorMaker.jar VectorMaker user/starmine/AlphaDefault/mahout/random_forest/prevectors  /user/starmine/AlphaDefault/mahout/random_forest/test1


Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/mahout/math/VectorWritable
    at VectorMaker.main(VectorMaker.java:67)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:208)
Caused by: java.lang.ClassNotFoundException: org.apache.mahout.math.VectorWritable
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

我知道我需要以某种方式使我的JAR文件包含我的所有依赖关系，但不确定如何。

最佳答案

确保在类路径中包含所有依赖项，包括所有Mahout库。或者，您可以在编译程序时通过-classpath指定路径。

javac -classpath -classpath $ MAHOUT_HOME / lib / *