本文介绍了 pandas 分组并找到所有列的第一个非空值的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有如下的熊猫 DF,
I have pandas DF as below ,
id age gender country sales_year
1 None M India 2016
2 23 F India 2016
1 20 M India 2015
2 25 F India 2015
3 30 M India 2019
4 36 None India 2019
我想根据 id 分组,根据 sales_date 取最新的 1 行,所有非空元素.
I want to group by on id, take the latest 1 row as per sales_date with all non null element.
预期输出,
id age gender country sales_year
1 20 M India 2016
2 23 F India 2016
3 30 M India 2019
4 36 None India 2019
在 pyspark 中,
In pyspark,
df = df.withColumn('age', f.first('age', True).over(Window.partitionBy("id").orderBy(df.sales_year.desc())))
但我需要在熊猫中使用相同的解决方案.
But i need same solution in pandas .
编辑 ::所有列都是这种情况.不仅仅是年龄.我需要它为所有 id 获取最新的非空数据(id 存在).
EDIT ::This can the case with all the columns. Not just age. I need it to pick up latest non null data(id exist) for all the ids.
推荐答案
使用 GroupBy.first
:
df1 = df.groupby('id', as_index=False).first()
print (df1)
id age gender country sales_year
0 1 20.0 M India 2016
1 2 23.0 F India 2016
2 3 30.0 M India 2019
3 4 36.0 NaN India 2019
如果列 sales_year
未排序:
df2 = df.sort_values('sales_year', ascending=False).groupby('id', as_index=False).first()
print (df2)
id age gender country sales_year
0 1 20.0 M India 2016
1 2 23.0 F India 2016
2 3 30.0 M India 2019
3 4 36.0 NaN India 2019
这篇关于 pandas 分组并找到所有列的第一个非空值的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!