如何在 Spark 中配置 spark.io.compression.codec=lzf？
通常，我使用 spark-submit 来运行我们的驱动程序类，如下所示
所以我可以在命令中设置 spark.io.compression.codec=lzf 。但是如果我不想使用 spark-submit 来运行我们的驱动程序类。我想在 spark-job-server 中运行。如何在 spark-job-server 中配置？谢谢
我试图将它设置在 env 变量中。但它不起作用。我也在下面尝试过。还是不行。
sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");
最佳答案
您可以将该选项传递给 spark-submit 或 spark-shell ，方法是将其放入与其关联的 conf/spark-defaults.conf 中。详细信息在 configuration section of the doc 中。
对于 spark-jobserver ，您可以配置给定的上下文，尤其是当它作为从作业隐式创建的上下文发送时。有几种方法可以这样做(其要点是设置在 spark.context-settings 下分层)，但是 Readme.md 的“上下文配置”详细说明了如何执行此操作:
https://github.com/spark-jobserver/spark-jobserver/blob/master/README.md
关于apache-spark - 如何在 Spark 中配置 spark.io.compression.codec=lzf，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/27959936/