本文介绍了如何检查的核心星火用途是多少?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我 spark.cores.max
设置为 24
[3个工作节点],但如果我进去我的工作节点,看到只有一个过程[命令=的Java]跑步消耗的内存和CPU。我怀疑它不使用所有8个内核(关于 m2.4x大
)。
I have spark.cores.max
set to 24
[3 worker nodes], but If I get inside my worker node and see there is just one process [command = Java] running that consumes memory and CPU. I suspect it does not use all 8 cores (on m2.4x large
).
如何知道电话号码?
推荐答案
您可以看到在占据星火Web UI的下集群中的每个工人的内核数量:
You can see the number of cores occupied on each worker in the cluster under the Spark Web UI:
这篇关于如何检查的核心星火用途是多少?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!