我喜欢使用Spark Dataframe Map聚合语法,如下所示:
jaccardDf
.groupBy($"userId")
.agg(
"jaccardDistance"->"avg"
, "jaccardDistance"->"stddev_samp"
, "jaccardDistance"->"skewness"
, "jaccardDistance"->"kurtosis"
)
有没有办法在仍然使用Map语法的情况下别名化结果列?当我需要别名时,我改为
jaccardDf
.groupBy($"userId")
.agg(
avg("jaccardDistance").alias("jaccardAvg")
,stddev_samp("jaccardDistance").alias("jaccardStddev")
,skewness("jaccardDistance").alias("jaccardSkewness")
,kurtosis("jaccardDistance").alias("jaccardKurtosis")
)
最佳答案
使用.toDF()
为列名加上定义的列表别名:
val colNames = Array("userId", "jaccardAvg", "jaccardStddev", "jaccardSkewness", "jaccardKurtosis")
jaccardDf
.groupBy($"userId")
.agg(
"jaccardDistance"->"avg",
"jaccardDistance"->"stddev_samp",
"jaccardDistance"->"skewness",
"jaccardDistance"->"kurtosis")
.toDF(colNames: _*)