scala - 如何将Spark数据帧中的WrappedArray列转换为Strings？

我正在尝试将包含Array [String]的列转换为String，但始终出现此错误

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: Lost task 0.3 in stage 78.0 (TID 1691, ip-******): java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;

这是一段代码

val mkString = udf((arrayCol:Array[String])=>arrayCol.mkString(","))
val dfWithString=df.select($"arrayCol").withColumn("arrayString",
      mkString($"arrayCol"))

最佳答案

WrappedArray不是Array（这是普通的Java Array，不是Natve Scala集合）。您可以将签名更改为：

import scala.collection.mutable.WrappedArray

(arrayCol: WrappedArray[String]) => arrayCol.mkString(",")

或使用Seq之类的超类型之一：

(arrayCol: Seq[String]) => arrayCol.mkString(",")

在最新的Spark版本中，可以使用concat_ws代替：

import org.apache.spark.sql.functions.concat_ws

df.select(concat_ws(",", $"arrayCol"))