我正在尝试在Ubuntu14.04 VM上安装Spark1.5.1。解压缩文件后,我将目录更改为提取的文件夹,并执行命令“ ./bin/pyspark”,这将启动pyspark shell。但是我收到如下错误消息:


  [OpenJDK 64位服务器VM警告:INFO:os :: commit_memory(0x00000000c5550000,715849728,0)失败;
  错误=“无法分配内存”(errno = 12)没有足够的空间
  内存,以便Java Runtime Environment继续。
  
  本机内存分配(malloc)无法分配715849728字节
  用于提交保留的内存。
  
  包含更多信息的错误报告文件另存为:
  /home/datascience/spark-1.5.1-bin-hadoop2.6/hs_err_pid2750.log]


有人可以给我一些指导以解决问题吗?

最佳答案

我们需要将spark.executor.memory文件中的conf/spark-defaults.conf设置为特定于您的计算机的值。例如,

usr1@host:~/spark-1.6.1$ cp conf/spark-defaults.conf.template conf/spark-defaults.conf
nano conf/spark-defaults.conf
spark.driver.memory              512m


有关更多信息,请参阅官方文档:http://spark.apache.org/docs/latest/configuration.html

10-06 12:40
查看更多