在Spark 2.0.0的发行版note中,它表示:
最佳答案
可悲的是没有。您仍然必须为Sparks部署创建一个 super JAR。
发行说明中的标题非常容易引起误解。实际的含义是,Spark本身作为依赖项不再被编译为 super JAR,而是像具有依赖项的普通应用程序JAR一样起作用。您可以在@ SPARK-11157
上更详细地了解它,它被称为“允许在不使用程序集的情况下构建Spark”,并阅读了一份名为"Replacing the Spark Assembly with good oldjars"的文件,该文件描述了不将Spark部署为几个大型JAR(核心,流,SQL等)的优缺点。 ..),但作为几个相对常规大小的JAR,包含代码和带有所有相关依赖项的lib/
目录。
如果您真的想要详细信息,this pull request涉及几个关键部分。