本文介绍了如何在Spark(scala)中将WrappedArray [WrappedArray [Float]]强制转换为Array [Array [Float]]的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在使用Spark 2.0.我的数据框中有一列包含WrappedArray WrappedArrays of Float.

Im using Spark 2.0.I have a column of my dataframe containing a WrappedArray of WrappedArrays of Float.

一行示例为:

An example of a row would be:

[[1.0 2.0 2.0][6.0 5.0 2.0][4.0 2.0 3.0]]

我正在尝试将此列转换为 Array[Array[Float]] .

Im trying to transform this column into an Array[Array[Float]].

到目前为止,我尝试过以下操作:

What I tried so far is the following:

dataframe.select("mycolumn").rdd.map(r => r.asInstanceOf[Array[Array[Float]]])

但出现以下错误:

Caused by: java.lang.ClassCastException:
 org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to [[F

任何想法都将受到高度赞赏.谢谢

Any idea would be highly appreciated. Thanks

推荐答案

尝试一下:

  val wawa: WrappedArray[WrappedArray[Float]] = null
  val res: Array[Array[Float]] = wawa.map(inner => inner.array).toArray

它为我编译

这篇关于如何在Spark(scala)中将WrappedArray [WrappedArray [Float]]强制转换为Array [Array [Float]]的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

08-21 17:18