在Spark 2.0.0的发行版note中,它表示:


  • 这是否意味着我们不再需要为提交作业做一个 fat jar 了?
  • 如果是,如何?因此,文档here不是最新的。
  • 最佳答案



    可悲的是没有。您仍然必须为Sparks部署创建一个 super JAR。

    发行说明中的​​标题非常容易引起误解。实际的含义是,Spark本身作为依赖项不再被编译为 super JAR,而是像具有依赖项的普通应用程序JAR一样起作用。您可以在@ SPARK-11157 上更详细地了解它,它被称为“允许在不使用程序集的情况下构建Spark”,并阅读了一份名为"Replacing the Spark Assembly with good oldjars"的文件,该文件描述了不将Spark部署为几个大型JAR(核心,流,SQL等)的优缺点。 ..),但作为几个相对常规大小的JAR,包含代码和带有所有相关依赖项的lib/目录。

    如果您真的想要详细信息,this pull request涉及几个关键部分。

    07-24 09:45
    查看更多