python - 尝试删除 Pandas 中的异常值时发生ValueError

我有一个数据集，我需要删除一些巨大的异常值（10倍的常规数据），但我无法想出一个聪明的方法来做这件事。我试过了

if df['pickup_latitude'] >= 3*df['pickup_latitude'].mean():
   df['pickup_latitude'] = df['pickup_latitude'].mean()

但这给了我：值错误：序列的真值是不明确的。使用a.empty、a.bool（）、a.item（）、a.any（）或a.all（）。
我试过其他方法

df[np.abs(df.Data-df.Data.mean()) <= (3*df.Data.std())]

但它们不起作用，因为我的数据上有时间戳，这会破坏其他解决方案。
有什么聪明的方法可以过滤掉异常值或者用其他值替换它们？

最佳答案

TL；博士
您需要提供一个布尔向量来标识要重新分配的数据帧单元格。在您的情况下，将异常值和错误数据更改为平均值（估算）。
我会分几个步骤来做：

df = pd.DataFrame([0,1,3,'blah',4,5,'blah'], columns = ['pickup_latitude'])
# Identify the numeric observations
numeric = df['pickup_latitude'].astype(str).str.isdigit()
# Calculate mean
mean = df.loc[numeric,'pickup_latitude'].mean()
# Impute non numeric values
df.loc[~numeric,'pickup_latitude'] = mean
# Impute outliers
df.loc[df['pickup_latitude'] >= mean, 'pickup_latitude'] = mean


df['pickup_latitude']
Out[81]:
0      0
1      1
2    2.6
3    2.6
4    2.6
5    2.6
6    2.6
Name: pickup_latitude, dtype: object

我也会深入研究清理数据。
直观的解释：
我不认为它不会计算，因为数据完整性问题，如数字数据中的时间戳。我可以复制你描述的第一个错误。
你不能这样做：

import pandas as pd
df = pd.DataFrame([0,1,3,4,5], columns = ['pickup_latitude'])
if df['pickup_latitude'] >= df['pickup_latitude'].mean():
   df['pickup_latitude'] = df['pickup_latitude'].mean()

代码尝试将序列与常量进行比较：

df['pickup_latitude']
Out[12]:
0    0
1    1
2    3
3    4
4    5
Name: pickup_latitude, dtype: int64

df['pickup_latitude'].mean()
Out[13]: 2.6

if df['pickup_latitude'] >= df['pickup_latitude'].mean():
   df['pickup_latitude'] = df['pickup_latitude'].mean()


Traceback (most recent call last):

  File "<ipython-input-15-1135c8386dd6>", line 1, in <module>
    if df['pickup_latitude'] >= df['pickup_latitude'].mean():

  File "C:\Users\____\AppData\Local\Continuum\anaconda3\envs\DS\lib\site-packages\pandas\core\generic.py", line 1121, in __nonzero__
    .format(self.__class__.__name__))

ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

第二个错误是数据特有的。我将研究为什么不同的数据类型位于同一列（数字和时间戳）。

关于python - 尝试删除 Pandas 中的异常值时发生ValueError，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/53243492/