python - 删除每列(和相应行)中的异常值

我的 Numpy 数组包含 10 列和大约 200 万行。

现在我需要分别分析每一列，找到异常值；并从数组中删除整个相应的行。

所以我会开始分析第 0 列；在第 10,20,100 行找出异常值；并删除这些行。
接下来，我将开始分析现在修剪过的数组中的第 1 列；并应用相同的过程。

当然，我可以想到一个正常的手动过程来做到这一点(遍历每一列，找到异常值的索引，删除行，继续到其他列)，但我总是发现 Numpy 包含一些快速的漂亮技巧来完成统计像这样的任务。

如果您可以详细说明该方法的运行时成本；甚至更好。

我不限于这里的 NumPy 库，如果 SciPy 有一些有用的东西，那么使用它就没有问题。

谢谢!

最佳答案

两种非常直接的方法，第二种方法更复杂一点:

arr = np.random.randn(2e6, 10)

def remove_outliers(arr, k):
    mu, sigma = np.mean(arr, axis=0), np.std(arr, axis=0, ddof=1)
    return arr[np.all(np.abs((arr - mu) / sigma) < k, axis=1)]

def remove_outliers_bis(arr, k):
    mask = np.ones((arr.shape[0],), dtype=np.bool)
    mu, sigma = np.mean(arr, axis=0), np.std(arr, axis=0, ddof=1)
    for j in range(arr.shape[1]):
        col = arr[:, j]
        mask[mask] &= np.abs((col[mask] - mu[j]) / sigma[j]) < k
    return arr[mask]

性能取决于您有多少异常值:

In [38]: %timeit remove_outliers(arr, 1)
1 loops, best of 3: 1.13 s per loop

In [39]: %timeit remove_outliers_bis(arr, 1)
1 loops, best of 3: 983 ms per loop

In [40]: %timeit remove_outliers(arr, 2)
1 loops, best of 3: 1.21 s per loop

In [41]: %timeit remove_outliers_bis(arr, 2)
1 loops, best of 3: 1.51 s per loop

而且当然:

In [42]: np.allclose(remove_outliers(arr, 1), remove_outliers_bis(arr, 1))
Out[42]: True

In [43]: np.allclose(remove_outliers(arr, 2), remove_outliers_bis(arr, 2))
Out[43]: True

我会说第二种方法的复杂性并不能证明其潜在的加速是合理的，但是 YMMV ......

关于python - 删除每列(和相应行)中的异常值，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/25447453/