我正在向Livy提交带有curl命令的批处理作业Pi作业,但由于java.lang.ClassNotFoundException: org.apache.livy.Job
而失败。如果我用jar文件中的所有依赖项编译jar,那么它将起作用。
为什么我需要这样做?我正在Livy上执行它,至少我希望Livy拥有它自己的可用依赖项。
最佳答案
Livy在自然界中使用SparkLauncher模拟Spark提交,
所以您的jar应该是fatJar,包括所有依赖项。
关于java - 如果未使用所有依赖项jar进行编译,则上载到Apache Livy的应用程序将失败,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/52094815/