这个问题已经有了答案:
Multiple Aggregate operations on the same column of a spark dataframe
3答
对于下面的数据帧
df=spark.createDataFrame(data=[('Alice',4.300),('Bob',7.677)],schema=['name','High'])
当我试图找到最小值和最大值时,我只得到最小值。
df.agg({'High':'max','High':'min'}).show()
+-----------+
|min(High) |
+-----------+
| 2094900|
+-----------+
为什么agg()不能像熊猫那样同时给出max和min?
最佳答案
如您所见:
AGG(*ExPRS)
计算聚合并将结果作为数据帧返回。
可用的聚合函数有avg、max、min、sum、count。
如果exprs是一个从字符串到字符串的单dict映射,那么键是要对其执行聚合的列,值是聚合函数。
或者,expr也可以是聚合列表达式的列表。
参数:exprs–从列名(字符串)到聚合函数(字符串)或列列表的dict映射。
您可以使用列列表并对每列应用所需的函数,如下所示:
>>> from pyspark.sql import functions as F
>>> df.agg(F.min(df.High),F.max(df.High),F.avg(df.High),F.sum(df.High)).show()
+---------+---------+---------+---------+
|min(High)|max(High)|avg(High)|sum(High)|
+---------+---------+---------+---------+
| 4.3| 7.677| 5.9885| 11.977|
+---------+---------+---------+---------+