我最近在最后一个阶段使用Sparkling Water的AutoML创建了PySpark管道(非常类似于https://github.com/h2oai/sparkling-water/blob/master/py/examples/pipelines/ham_or_spam_multi_algo.py),但是当我从文件加载模型时,出现此错误:

例如:

model = loaded_pipeline.fit(data)
model.write().overwrite().save("examples/build/model")
loaded_model = PipelineModel.load("examples/build/model")


py4j.protocol.Py4JError: ai.h2o.sparkling.ml.models.H2OMOJOModel.H2OSupervisedMOJOModel does not exist in the JVM


我有当前的软件包/版本:H2O(3.28.0.3),h2o-pysparkling-2-4(3.28.0.3-1),PySpark(2.4.3),Py4j(0.10.7)。
我仅在将H2O /苏打水更新到3.28版本时收到此错误。它可以与某些环境变量或软件包版本的定义相关吗?

最佳答案

请在代码开头运行from pysparkling import *。此调用可确保我们将Sparkling Water依赖项添加到Spark应用程序。

07-24 09:53