我有一个数据框,其中一个列“组”可以有 50 个不同的值和一个数字列“值”。

一个例子可能是:

pd.DataFrame({'group':['a','b','c','a','a','b','a','c','c'],'value':[2,123,4,2.3,2.5,127,128,4,0.003]})

group   value
0   a   2.000
1   b   123.000
2   c   4.000
3   a   2.300
4   a   2.500
5   b   127.000
6   a   128.000
7   c   4.000
8   c   0.003

我想从数据框中删除对于他们的组来说异常的值,例如 abs(zscore)>3 或类似的东西。在示例中,值 a,128 将被删除,因为它对于组 a 是异常的,并且值 c,0.003 也将被删除。 123和127是正常的,因为他们的组是“b”。

输出应该类似于(带有 z-score 列):
group   value
0   a   2.0
1   b   123.0
2   c   4.0
3   a   2.3
4   a   2.5
5   b   127.0
6   c   4.0

这样做的有效方法是什么?

谢谢!

最佳答案

为 z score 创建一列,按特定组分组:

df['z_score'] = df.groupby('group')['value'].apply(lambda x: (x - x.mean())/x.std())

根据您的阈值过滤 df:
df[abs(df['z_score']) > 3]

关于python - Pandas 按 Z Score 过滤每组的异常,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/45243384/

10-12 00:43
查看更多