我用命令启动
IPYTHON=1 MASTER=local[4] pyspark
Spark向我致意
Welcome to spark, version 1.2.1
SparkContext availabel as sc.
但是，使用sc时，我无法找到它拥有的内存。如何找到答案，以及在可能的情况下如何将其设置为另一个值。
最佳答案
您可以像这样查询SparkContext的配置:
sc._conf.get('spark.executor.memory')
或者，如果您对驱动程序的内存感兴趣:
sc._conf.get('spark.driver.memory')
完整的配置可以通过以下方式查看为元组列表:
sc._conf.getAll()
关于memory - 如何从iPython界面找出pyspark的内存量？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/29290573/