我在Spark + AI Summit中发现了Koalas,它将熊猫带到了Spark。

据我所知,如果我需要map Spark的第三方功能DataFrame,我必须在Spark集群的每个节点上安装软件包。

考拉也一样吗?或者我只需要在主节点上运行pip install koalas并让Koalas和Spark负责其余的工作?

除了pip install koalas之外,我在Koalas的Docs中没有找到任何详细信息。

最佳答案

是的,您需要在集群的所有节点上安装考拉。通常,所有第3方库都需要安装在群集的所有节点上。

10-07 20:46