java.io.NotSerializableException : org. apache.spark.SparkContext 序列化堆栈:-对象不可序列化

该错误可以在 spark-shell 中重现。
基本上，我定义了一个带有生成 RDD 的方法的类，然后我对生成序​​列化错误的 RDD 执行映射操作。

如果我没有方法并且只有执行方法步骤的语句，那么一切正常。

代码在这里，可以在 spark-shell 中运行我定义一个类，然后实例化该类。

首先是进口

import java.nio.file.{Files}
import java.io._
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import scala.io.Source
import scala.collection.mutable.ArrayBuffer

这是带有方法和带有匿名函数的映射的类，用于计算字符串中的分隔符

class DataValidation(datasetPath: String, datasetName: String, separator:
String, encoding: String, sc: SparkContext) extends Serializable {

// open file and load distribute... and try playing around with it...
// RDD data declaration, reading dataset on RDD without header

var dataset = datasetPath + "//" + datasetName + ".csv"

def textfile_encoding(datasetIn: String, encodingIn: String) : RDD[String] = {
var characters = ArrayBuffer[String]()
    for (line <- Source.fromFile(dataset, encoding).getLines()) {
         characters += line
    }
sc.parallelize(characters)

}
val rdd = this.textfile_encoding(dataset,encoding)
val separatorCount = rdd.map(_.count(_ == separator.charAt(0))) //error here
println("here")
}

然后这里是调用语句

val encoding = "utf8"
val datasetName = "InsuranceFraud"
val datasetSeparator = ";"

val sc = new SparkContext("local", "DataValidation Application")

val DataValidation = new DataValidation(datasetPath, datasetName,
datasetSeparator, encoding, sc)

我得到的错误是

Caused by: java.io.NotSerializableException: org.apache.spark.SparkContext
Serialization stack:
    - object not serializable (class: org.apache.spark.SparkContext, value: org.apache.spark.SparkContext@2aa98145)
    - field (class: $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$DataValidation, name: sc, type: class org.apache.spark.SparkContext)
    - object (class $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$DataValidation, $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$DataValidation@3d93cd9c)
    - field (class: $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$DataValidation$$anonfun$1, name: $outer, type: class $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$DataValidation)
    - object (class $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$DataValidation$$anonfun$1, <function1>)
    at org.apache.spark.serializer.SerializationDebugger$.improveException(SerializationDebugger.scala:40)
    at org.apache.spark.serializer.JavaSerializationStream.writeObject(JavaSerializer.scala:47)
    at org.apache.spark.serializer.JavaSerializerInstance.serialize(JavaSerializer.scala:81)
    at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:312)
    ... 87 more

请注意以下行为

如果我按如下方式更改类中的语句，则一切正常。
val separatorCount = rdd.map(_.count(_ == ';'))

如果我内联方法，即只执行方法中的语句而没有方法，则一切正常。

最佳答案

我现在已经解决了这个..

由于我在我的 map 函数中使用了分隔符，因此在整个类上尝试序列化。但是，textile_encoding 方法无法序列化导致错误。

所以，我已经把这个方法移到一个单独的类中，并在外部实例化它并将它传递给这个类。

现在序列化很好。

当您遇到此问题时，我认为您有三种解决方案:-

做我做的。将方法移动到不同的类

编写您自己的闭包/序列化。 (还不知道怎么样)

预序列化有问题的方法(还不知道如何)

问候

阿米尔