r - 从 SparkR ML 分类函数中提取类概率

我想知道是否有可能(使用 SparkR 的内置功能或任何其他解决方法)提取 SparkR 中包含的某些分类算法的类概率。特别感兴趣的是。



目前，当我在这些模型上使用 predict 函数时，我能够提取预测，但不能提取实际概率或“置信度”。

我已经看到其他几个与此主题类似的问题，但没有一个是特定于 SparkR 的，而且许多问题都没有与 Spark 的最新更新有关。

最佳答案

我遇到了同样的问题，现在按照 this 答案使用 SparkR:::callJMethod 将概率 DenseVector(R 无法反序列化)转换为 Array(R 读作 List)。它不是很优雅或快速，但它可以完成工作:

  denseVectorToArray <- function(dv) {
    SparkR:::callJMethod(dv, "toArray")
  }

例如。:
开始你的 Spark session

#library(SparkR)
#sparkR.session(master = "local")

生成玩具数据

data <- data.frame(clicked = base::sample(c(0,1),100,replace=TRUE),
                  someString = base::sample(c("this", "that"),
                                           100, replace=TRUE),
                  stringsAsFactors=FALSE)

trainidxs <- base::sample(nrow(data), nrow(data)*0.7)
traindf <- as.DataFrame(data[trainidxs,])
testdf <- as.DataFrame(data[-trainidxs,])

训练随机森林并运行预测:

rf <- spark.randomForest(traindf,
                        clicked~.,
                        type = "classification",
                        maxDepth = 2,
                        maxBins = 2,
                        numTrees = 100)

predictions <- predict(rf, testdf)

收集你的预测:

collected = SparkR::collect(predictions)

现在提取概率:

collected$probabilities <- lapply(collected$probability, function(x)  denseVectorToArray(x))
str(probs)

当然，SparkR:::callJMethod 的函数包装器有点矫枉过正。您也可以直接使用它，例如使用 dplyr:

withprobs = collected %>%
            rowwise() %>%
            mutate("probabilities" = list(SparkR:::callJMethod(probability,"toArray"))) %>%
            mutate("prob0" = probabilities[[1]], "prob1" = probabilities[[2]])

关于r - 从 SparkR ML 分类函数中提取类概率，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/41942974/