我有一个Spark数据框,其中列是整数:

MYCOLUMN:
1
1
2
5
5
5
6


目的是获得等于collections.Counter([1,1,2,5,5,5,6])的输出。我可以通过将列转换为RDD并调用collect和Counter来获得所需的结果,但是对于大型数据帧而言,这相当慢。

是否有更好的方法使用可以达到相同结果的数据框?

最佳答案

也许groupbycount与您所需要的相似。这是我使用数据框计算每个数字的解决方案。我不确定这是否会比使用RDD更快。

# toy example
df = spark.createDataFrame(pd.DataFrame([1, 1, 2, 5, 5, 5, 6], columns=['MYCOLUMN']))

df_count = df.groupby('MYCOLUMN').count().sort('MYCOLUMN')


df_count.show()的输出

+--------+-----+
|MYCOLUMN|count|
+--------+-----+
|       1|    2|
|       2|    1|
|       5|    3|
|       6|    1|
+--------+-----+


现在,您可以使用Counter转到像rdd这样的词典。

dict(df_count.rdd.map(lambda x: (x['MYCOLUMN'], x['count'])).collect())


这将输出为{1: 2, 2: 1, 5: 3, 6: 1}

10-06 11:11