使用 pyspark 1.4 我试图使用 RegressionMetrics() 进行预测
由 LinearRegressionWithSGD 生成。
pyspark mllib documentations 中给出的 RegressionMetrics() 的所有示例均用于“人工”预测和观察
喜欢
predictionAndObservations = sc.parallelize([ (2.5, 3.0), (0.0, -0.5), (2.0, 2.0), (8.0, 7.0)])
对于这种“人工”(使用 sc.parallelize 生成)RDD，一切正常。但是，当对以另一种方式生成的另一个 RDD 做同样的事情时，我得到
TypeError: DoubleType can not accept object in type <type 'numpy.float64'>
简短的可重现示例如下。
可能是什么问题？
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.regression import LinearRegressionWithSGD, LinearRegressionModel
from pyspark.mllib.evaluation import RegressionMetrics
dataRDD = sc.parallelize([LabeledPoint(1, [1,1]), LabeledPoint(2, [2,2]), LabeledPoint(3, [3,3])])
lrModel = LinearRegressionWithSGD.train(dataRDD)
prediObserRDD = dataRDD.map(lambda p: (lrModel.predict(p.features), p.label)).cache()
让我们检查一下 RDD 确实是(预测，观察)对
prediObserRDD.take(4) # looks OK
现在尝试计算指标
metrics = RegressionMetrics(prediObserRDD)
它给出了以下错误
TypeError Traceback (most recent call last)
<ipython-input-1-ca9ad8e9faf1> in <module>()
7 prediObserRDD = dataRDD.map(lambda p: (lrModel.predict(p.features), p.label)).cache()
8 prediObserRDD.take(4)
----> 9 metrics = RegressionMetrics(prediObserRDD)
10 #metrics.explainedVariance
11 #metrics.meanAbsoluteError
/usr/local/spark-1.4.0-bin-hadoop2.6/python/pyspark/mllib/evaluation.py in __init__(self, predictionAndObservations)
99 df = sql_ctx.createDataFrame(predictionAndObservations, schema=StructType([
100 StructField("prediction", DoubleType(), nullable=False),
--> 101 StructField("observation", DoubleType(), nullable=False)]))
102 java_class = sc._jvm.org.apache.spark.mllib.evaluation.RegressionMetrics
103 java_model = java_class(df._jdf)
/usr/local/spark-1.4.0-bin-hadoop2.6/python/pyspark/sql/context.py in createDataFrame(self, data, schema, samplingRatio)
337
338 for row in rows:
--> 339 _verify_type(row, schema)
340
341 # convert python objects to sql data
/usr/local/spark-1.4.0-bin-hadoop2.6/python/pyspark/sql/types.py in _verify_type(obj, dataType)
1027 "length of fields (%d)" % (len(obj), len(dataType.fields)))
1028 for v, f in zip(obj, dataType.fields):
-> 1029 _verify_type(v, f.dataType)
1030
1031 _cached_cls = weakref.WeakValueDictionary()
/usr/local/spark-1.4.0-bin-hadoop2.6/python/pyspark/sql/types.py in _verify_type(obj, dataType)
1011 if type(obj) not in _acceptable_types[_type]:
1012 raise TypeError("%s can not accept object in type %s"
-> 1013 % (dataType, type(obj)))
1014
1015 if isinstance(dataType, ArrayType):
TypeError: DoubleType can not accept object in type <type 'numpy.float64'>
BinaryClassificationMetrics 也会出现同样的问题(对于另一个数据集和分类任务)。
最佳答案
就像错误说 TypeError: DoubleType can not accept object in type <type 'numpy.float64'>
您正在尝试将 numpy.float64 转换为无法完成的 Double 。
要解决该 TypeError，您必须将您的值转换为可接受的类型。
例子 :
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.regression import LinearRegressionWithSGD, LinearRegressionModel
from pyspark.mllib.evaluation import RegressionMetrics
dataRDD = sc.parallelize([LabeledPoint(1, [1,1]), LabeledPoint(2, [2,2]), LabeledPoint(3, [3,3])])
lrModel = LinearRegressionWithSGD.train(dataRDD)
prediObserRDD = dataRDD.map(lambda p: (float(lrModel.predict(p.features)), p.label)).cache()
如果您注意到了，我已经使用 Python 内置的
float 函数将预测标签转换为 double 值。现在您可以计算您的指标:
>>> metrics = RegressionMetrics(prediObserRDD)
>>> metrics.explainedVariance
1.0
关于apache-spark - 如何使用 pyspark mllib RegressionMetrics 进行真实预测，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/31450089/