在 Spark 中,通过 --packages 参数将 JAR 添加到类路径和直接将 JAR 添加到 $SPARK_HOME/jars 目录有什么区别?

最佳答案

TL;DR jars 用于本地或远程 jar 文件指定 URL 且不解析依赖项,packages 用于 Maven 坐标,并解析依赖项。 From docs

  • --jars
  • --packages
  • 关于apache-spark - Spark 包标志与 jars 目录?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/50333750/

    10-10 04:47