python - Spark SQL Row_number()分区按排序方式描述

我已经使用Window在Spark中成功创建了row_number() partitionBy，但想按降序而不是默认的升序对它进行排序。这是我的工作代码:

from pyspark import HiveContext
from pyspark.sql.types import *
from pyspark.sql import Row, functions as F
from pyspark.sql.window import Window

data_cooccur.select("driver", "also_item", "unit_count",
    F.rowNumber().over(Window.partitionBy("driver").orderBy("unit_count")).alias("rowNum")).show()

这给了我这个结果:

 +------+---------+----------+------+
 |driver|also_item|unit_count|rowNum|
 +------+---------+----------+------+
 |   s10|      s11|         1|     1|
 |   s10|      s13|         1|     2|
 |   s10|      s17|         1|     3|

在这里，我将desc()添加到降序排列:

data_cooccur.select("driver", "also_item", "unit_count", F.rowNumber().over(Window.partitionBy("driver").orderBy("unit_count").desc()).alias("rowNum")).show()

并得到这个错误:



我在这里做错了什么？

最佳答案

desc应该应用于列而不是窗口定义。您可以在列上使用任一方法:

from pyspark.sql.functions import col, row_number
from pyspark.sql.window import Window

F.row_number().over(
    Window.partitionBy("driver").orderBy(col("unit_count").desc())
)

或独立功能:

from pyspark.sql.functions import desc
from pyspark.sql.window import Window

F.row_number().over(
    Window.partitionBy("driver").orderBy(desc("unit_count"))
)

关于python - Spark SQL Row_number()分区按排序方式描述，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/35247168/