在数据库笔记本上将Scala地图转换为对象时出现问题

问题描述

Issue

我有一个场景，我需要将Scala Map转换为Case类对象，并在以下引用的帮助下在本地实现(Scala版本2.12.13)：

1. Scala: convert map to case class
2. Convert a Map into Scala object

但当我尝试在Databricks笔记本中运行相同的代码块时，它抛出一个错误：

IllegalArgumentException: Cannot construct instance of '$line23851bc084ae4df7a16bf9c475868d9265.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$Test' (although at least one Creator exists): can only instantiate non-static inner class by using default, no-argument constructor at [Source: UNKNOWN; line: -1, column: -1]

集群配置：数据库运行时8.2(包括Spark 3.1.1、Scala 2.12)。有关完整代码，请参阅屏幕截图。

解决方法(不建议)：

def workaround(map: Map[String, Any]): Test = {
  Test(
    map("k1").asInstanceOf[Int],
    map("k2").asInstanceOf[String],
    map("k3").asInstanceOf[String],
  )
}

val result = workaround(myMap)

您对如何解决此问题有什么想法？

推荐答案

我觉得这像是两种可能性之一。

首先，我们应该仔细检查本地运行时环境和Databricks运行时环境之间的版本是否不匹配。您可以查看this page，查看DBR 8.2中包含的所有库版本的列表。特别是，我会检查您的本地环境，以确保您运行的是相同版本的Jackson(2.10.0)。

其次，这可能是Databricks如何实现他们的笔记本和Jackson的局限性之间的交互作用。Databricks笔记本的每个命令都包装在一个随机命名的package object中。例如，我可以从异常中看出保存Test类定义的Package对象是被调用的$line23851bc084ae4df7a16bf9c475868d9265.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw。(我说它是命名的，因为您每次重新运行该命令时，它都会生成一个新的包对象)。这意味着当放入笔记本中时，所有类(和其他类型定义)实际上都是path dependent types。更具体地说，对于这个场景，您的Test类是Package对象的内部类。根据错误消息和对文档的一些简短阅读，我怀疑Jackson无法序列化路径依赖类型。

这篇关于在数据库笔记本上将Scala地图转换为对象时出现问题的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！