我在 AWS 上有一个简单的工作，耗时超过 25 分钟。我将 DPU 的数量从 10 更改为 100(允许的最大值)，该作业仍然需要 13 分钟。
还有其他关于提高性能的建议吗？
最佳答案
除非 CPU 或内存是您现有工作的瓶颈，否则添加更多 DPU(即更多 CPU 和内存)不会显着有益于您的工作。至少好处不会是线性的，即 DPU 增加 10 倍并不意味着作业运行速度会快 10 倍。
我建议您逐渐增加 DPU 的数量以查看性能提升，并且您会注意到，在某一点之后添加更多 DPU 不会对性能产生重大影响，这可能是适合您工作的 DPU 数量。
关于performance - 如何提高 AWS Glue 的性能？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/47679335/