我在Spark + AI Summit中发现了Koalas,它将熊猫带到了Spark。
据我所知,如果我需要map
Spark的第三方功能DataFrame
,我必须在Spark集群的每个节点上安装软件包。
考拉也一样吗?或者我只需要在主节点上运行pip install koalas
并让Koalas和Spark负责其余的工作?
除了pip install koalas
之外,我在Koalas的Docs中没有找到任何详细信息。
最佳答案
是的,您需要在集群的所有节点上安装考拉。通常,所有第3方库都需要安装在群集的所有节点上。