java - 在类路径中使用不带dto类的kryo反序列化

在kryo中，是否可以将对象与数据模式一起序列化，或者从以标准方式序列化的数据中获取模式？我需要确保客户端不需要classpath中的类。从序列化数据中加载它，然后使用反射来减去其字段，或反序列化与JSON或XML相同的Maps，Lists，原始类型等中的所有数据

最佳答案

将SampleBean保存为JSON字符串

val conf = new SparkConf()
      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      .set("spark.kryo.registrationRequired", "true")
      .registerKryoClasses(Array(classOf[SampleBean], classOf[InternalRow]
        , classOf[Array[InternalRow]]
        , classOf[WriteTaskResult]
        , classOf[FileCommitProtocol.TaskCommitMessage]
        , classOf[ExecutedWriteSummary],
        classOf[BasicWriteTaskStats]))

    val spark = SparkSession.builder.master("local[*]")
      .config(conf)
      .getOrCreate

    import spark.implicits._
    val df = List(SampleBean("A", "B")).toDF()
    df.write.mode(SaveMode.Overwrite).json("src/main/resources/kryoTest")
    df.printSchema()

读取数据简单的JSON

val sparkNew = Constant.getSparkSess
    val dfNew = sparkNew.read.json("src/main/resources/serialisedJavaObj.json").toDF()
    dfNew.printSchema()