apache-spark - 如何在没有数据框的情况下在Spark中执行列表达式

如果我仅使用Column(无数据框列)，有什么方法可以评估我的Literal表达式。

例如，类似:

val result: Int = someFunction(lit(3) * lit(5))
//result: Int = 15

或者

import org.apache.spark.sql.function.sha1
val result: String = someFunction(sha1(lit("5")))
//result: String = ac3478d69a3c81fa62e60f5c3696165a4e5e6ac4

我可以使用数据框进行评估

val result = Seq(1).toDF.select(sha1(lit("5"))).as[String].first
//result: String = ac3478d69a3c81fa62e60f5c3696165a4e5e6ac4

但是，有什么方法可以在不使用数据框的情况下获得相同的结果？

最佳答案

要评估文字列，您可以在不提供Expression行的情况下将convert it分别设置为 eval 和 input :

scala> sha1(lit("1").cast("binary")).expr.eval()
res1: Any = 356a192b7913b04c54574d18c28d46e6395428ab

只要该函数是UserDefinedFunction，它将以相同的方式工作:

scala> val f = udf((x: Int) => x)
f: org.apache.spark.sql.expressions.UserDefinedFunction = UserDefinedFunction(<function1>,IntegerType,Some(List(IntegerType)))

scala> f(lit(3) * lit(5)).expr.eval()
res3: Any = 15

关于apache-spark - 如何在没有数据框的情况下在Spark中执行列表达式，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/51210178/