apache-spark - Spark数据帧计算按行最小值

This question already has answers here:

Comparing columns in Pyspark

(5个答案)



Row aggregations in Scala

(1个答案)


2年前关闭。




我正在尝试将几列的最小值放入单独的列中。 (创建min列)。该操作非常简单，但是我无法为此找到合适的功能:
A B分钟
1 2 1
2 1 1
3 1 1
1 4 1

非常感谢你的帮助!

最佳答案

您可以在pyspark中使用 least 函数:

from pyspark.sql.functions import least
df.withColumn('min', least('A', 'B')).show()
#+---+---+---+
#|  A|  B|min|
#+---+---+---+
#|  1|  2|  1|
#|  2|  1|  1|
#|  3|  1|  1|
#|  1|  4|  1|
#+---+---+---+

如果您具有列名列表:

cols = ['A', 'B']
df.withColumn('min', least(*cols))

同样在Scala中:

import org.apache.spark.sql.functions.least
df.withColumn("min", least($"A", $"B")).show
+---+---+---+
|  A|  B|min|
+---+---+---+
|  1|  2|  1|
|  2|  1|  1|
|  3|  1|  1|
|  1|  4|  1|
+---+---+---+

如果列存储在Seq中:

val cols = Seq("A", "B")
df.withColumn("min", least(cols.head, cols.tail: _*))

关于apache-spark - Spark数据帧计算按行最小值，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/51974475/