我对hadoop有点陌生。我已经在hadoop中实现了一些任务。直到现在，我仍在单节点群集中运行它。我正在考虑转向多节点集群。
如果我在同一系统上使用2个虚拟机配置了多个节点(在两个VM中都安装了Ubuntu)，则性能可能会提高或与在同一台计算机上运行的性能相同。
(我想如果我将在同一台机器上运行多个节点，那么执行所需的时间将相同或可能更长，因为所有进程都将在同一台机器上运行，因为它们将在同一台机器上运行。错误请正确，因为对此我知之甚少)
请尽快告诉我。谢谢大家。
最佳答案
性能几乎可以肯定是出于以下原因L:
1)由于虚拟机的开销更大，因此您可用于任务的内存将更少
2)虚拟机之间的网络连接速度将低于同一操作系统中的网络速度。
3)VM将引入一些磁盘IO开销(尽管它相对较小)。
4)据我所知，每个作业的开销与群集大小有关，因此大概是1个节点。 Mbr>群集将比2节点群集具有更快的作业开始时间。
我也看不出为什么这样的集群性能会更好的原因。
关于hadoop - 使用VM在同一台机器上与Hadoop的多节点相关的查询，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/9671143/