我发现AWS Glue将执行器实例的内存限制设置为5 Gb --conf spark.executor.memory=5g，有时，在大型数据集上，执行器实例因java.lang.OutOfMemoryError失败。驱动程序实例--spark.driver.memory=5g也是如此。
是否可以选择增加此值？
最佳答案
official glue documentation表示胶水不支持自定义火花配置。
AWS Glue内部还使用了几个参数名称，
您不应该设置：
--conf — AWS Glue内部。不要设置！
--debug-AWS Glue内部。不要设置！
--mode-AWS Glue内部。不要设置！
--JOB_NAME-AWS Glue内部。不要设置！
解决这个问题有更好的建议吗？
关于amazon-web-services - AWS Glue执行程序内存限制，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/49034126/