我有一个数据框,其中一个列“组”可以有 50 个不同的值和一个数字列“值”。
一个例子可能是:
pd.DataFrame({'group':['a','b','c','a','a','b','a','c','c'],'value':[2,123,4,2.3,2.5,127,128,4,0.003]})
group value
0 a 2.000
1 b 123.000
2 c 4.000
3 a 2.300
4 a 2.500
5 b 127.000
6 a 128.000
7 c 4.000
8 c 0.003
我想从数据框中删除对于他们的组来说异常的值,例如 abs(zscore)>3 或类似的东西。在示例中,值 a,128 将被删除,因为它对于组 a 是异常的,并且值 c,0.003 也将被删除。 123和127是正常的,因为他们的组是“b”。
输出应该类似于(带有 z-score 列):
group value
0 a 2.0
1 b 123.0
2 c 4.0
3 a 2.3
4 a 2.5
5 b 127.0
6 c 4.0
这样做的有效方法是什么?
谢谢!
最佳答案
为 z score 创建一列,按特定组分组:
df['z_score'] = df.groupby('group')['value'].apply(lambda x: (x - x.mean())/x.std())
根据您的阈值过滤 df:
df[abs(df['z_score']) > 3]
关于python - Pandas 按 Z Score 过滤每组的异常,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/45243384/