我在选择要插入Pandas.DataFrame.Groupby.agg中的列时遇到问题。
这是获取和准备数据的代码。
# Data Collecting and library import
from pandas_datareader import data
import pandas as pd
symbol = 'AAPL'
source = 'yahoo'
start_date = '2018-01-01'
end_date = '2019-04-24'
stock = data.DataReader(symbol, source, start_date, end_date)
new_range = pd.date_range(start="2018-1-1", end="2019-12-30")
stock = stock.reindex(new_range).fillna(method='ffill').fillna(method='bfill')
stock['Day'] = stock.index.weekday_name
stock['Month'] = stock.index.month_name()
stock['Size'] = stock['High'].apply(lambda x: 'Big' if x>175 else 'Small')
stock['Other Size'] = stock['Low'].apply(lambda x: 'Big' if x>175 else 'Small')
stock.round(2)
stock.head(10)
导致
我到目前为止所做的是
stock.groupby(['Day', 'Month']).agg(
{
'High' : [min, 'mean', max],
'Low' : [min, 'mean', max],
'Open' : 'mean',
'Size' : lambda x: x.value_counts().index[0],
# Other_non_numeric : lambda x: x.value_counts().index[1],
# Other_columns : 'mean'
}
).round(2)
导致
问题是：
如何包含其他非数字列
如何在字典中包括其他未确定的列并将方法设置为“平均”
最佳答案
1）要确定列是否为数字，可以使用pandas.api.types.is_numeric_dtype
2）要查找剩余的列，可以使用set(df.columns)减去在groupby中使用的列以及具有特定agg函数的列，例如
from pandas.api.types import is_numeric_dtype
fields_groupby = ['Day', 'Month']
fields_specific = {
'High': [min, 'mean', max],
'Low': [min, 'mean', max],
'Open': 'mean',
'Size': lambda x: x.value_counts().index[0],
}
fields_other = set(set(stock.columns) - set(fields_groupby) - set(fields_specific))
fields_agg_remaining = {col: 'mean' if is_numeric_dtype(stock[col]) else lambda x: x.value_counts().index[1] for col in fields_other}
之后，将
fields_specific和fields_agg_remaining的集合合并为agg字段列表agg_fields = fields_agg_remaining
agg_fields.update(fields_specific)
stock.groupby(['Day', 'Month']).agg(agg_fields).round(2)
编辑：您可以结合一切，将它们放在字典参数中，例如：
stock.groupby(['Day', 'Month']).agg(
{col:
[min, 'mean', max] if col in ['High', 'Low'] else
'mean' if col in ['Open'] else
lambda x: x.value_counts().index[0] if col in ['Size'] else
'mean' if is_numeric_dtype(stock[col]) else
lambda x: x.value_counts().index[1] for col in set(set(stock.columns) - {'Day', 'Month'})}
).round(2)
关于python - Pandas DataFrame.Groupby.Agg词典中的自定义列选择，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/58370248/