这是我的代码
from pandas import DataFrame, Series
import pandas as pd
import numpy as np
income = DataFrame({'name': ['Adam', 'Bill', 'Chris', 'Dave', 'Edison', 'Frank'],
'age': [22, 24, 31, 45, 51, 55],
'income': [1000, 2500, 1200, 1500, 1300, 1600],
})
ageBin = pd.cut(income.age, [20, 30, 40, 50, 60])
grouped = income.groupby([ageBin])
highestIncome = income.ix[grouped.income.idxmax()]
我有一个DataFrame,其中包含姓名,年龄和收入,如下所示:
index age income name
0 22 1000 Adam
1 24 2500 Bill
2 31 1200 Chris
3 45 1500 Dave
4 51 1300 Edison
5 55 1600 Frank
我想按年龄段对数据进行分组,并收集收入最高的记录。上面的代码有效,
highestIncome
为:index age income name
1 24 2500 Bill
2 31 1200 Chris
3 45 1500 Dave
5 55 1600 Frank
但是,如果我删除Chris的记录,因此在(30,40]岁的年龄范围内没有记录,我在
ValueError
处得到一个grouped.income.idxmax()
。我认为这是由于分组中的NaN
,但我找不到解决问题的方法,感谢您的投入。更新:非常感谢您的答案。我确实相信这是groupby对象在idxmax()上的错误。我想使用
agg(lambda x: x.idxmax())
方法,因为我对一千万个合成数据集上使用sort()
vs agg(lambda x: x.idxmax()
的速度进行了测试。这是代码和输出:from pandas import DataFrame, Series
import pandas as pd
import numpy as np
import time
testData = DataFrame({'key': np.random.randn(10000000),
'value': np.random.randn(10000000)})
keyBin = pd.cut(testData.key, 1000)
start = time.time()
grouped1 = testData.sort('value', ascending=False).groupby([keyBin])
highestValues1 = testData.ix[grouped1.head(1).index]
end = time.time()
print end - start
start = time.time()
grouped2 = testData.groupby([keyBin])
highestValues2 = testData.ix[grouped2.value.agg(lambda x: x.idxmax())].dropna(how='all')
end = time.time()
print end - start
#validation
(highestValues1.sort() == highestValues2.sort()).all()
输出:
5.30953717232
1.0279238224
Out[47]:
key True
value True
dtype: bool
最佳答案
grouped['income'].agg(lambda x : x.idxmax())
Out[]:
age
(20, 30] 1
(30, 40] NaN
(40, 50] 2
(50, 60] 4
Name: income, dtype: float64
然后您可以执行以下操作来获取数据
income.ix[result.values].dropna()