该代码有效-将每一列设置为其均值:

def setSerNanToMean(serAll):
    return serAll.replace(np.NaN, serAll.mean())
def setPdfNanToMean(pdfAll, listCols):
    pdfAll.ix[:,listCols] = pdfAll.ix[:,listCols].apply(setSerNanToMean)
setPdfNanToMean(pdfAll, [1,2,3,4])


此代码不起作用:

def setSerNanToMean(serAll):
    return serAll.replace(np.NaN, serAll.mean())
def setPdfNanToMean(pdfAll, listCols):
    pdfAll.ix[:,listCols].apply(setSerNanToMean) # This line has changed!
setPdfNanToMean(pdfAll, [1,2,3,4])


为什么第二段代码不起作用? DataFrame.apply()是否默认为就位? apply函数没有inplace参数。如果不能正常使用,这是否会使熊猫成为一个糟糕的内存处理程序?在这种情况下,所有熊猫数据框操作都可以复制所有内容吗?只是就地做会更好吗?即使它不是默认设置为inplace,它也不应该像replace()那样提供inplace参数吗?

我不是在寻找特定的答案,而是在寻求一般的理解。同样,这些代码块之一可以工作,因此我可以继续前进,但是我真正想做的是了解熊猫如何处理内存对象的操纵。我有麦金尼的书,因此非常欢迎页面引用,因此您不必输入太多。

最佳答案

不,申请不适用于就地*。

这是给您的另一个提示:inplace标志实际上并不意味着实际上发生的任何功能就在内部(!)。举个例子:

In [11]: s = pd.Series([1, 2, np.nan, 4])

In [12]: s._data._values
Out[12]: array([  1.,   2.,  nan,   4.])

In [13]: vals = s._data._values

In [14]: s.fillna(s.mean(), inplace=True)

In [15]: vals is s._data._values  # values are the same
Out[15]: True

In [16]: vals
Out[16]: array([ 1.        ,  2.        ,  2.33333333,  4.        ])

In [21]: s = pd.Series([1, 2, np.nan, 4])  # start again

In [22]: vals = s._data._values

In [23]: s.fillna('mean', inplace=True)

In [24]: vals is s._data._values  # values are *not* the same
Out[24]: False

In [25]: s._data._values
Out[25]: array([1.0, 2.0, 'mean', 4.0], dtype=object)


注意:通常,如果类型相同,则values数组也是如此,但是pandas不能保证这一点。

通常,apply的速度很慢(因为您基本上是遍历python中的每一行),“游戏”是根据pandas / numpy本机函数和索引来重写该函数。如果您想深入了解内部细节,请查看core / internals.py中的BlockManager,这是保存基础numpy数组的对象。但老实说,我认为您最有用的工具是%timeit,并查看特定功能的源代码(ipython中的??)。

在此特定示例中,我将考虑在想要的列的显式for循环中使用fillna:

In [31]: df = pd.DataFrame([[1, 2, np.nan], [4, np.nan, 6]], columns=['A', 'B', 'C'])

In [32]: for col in ["A", "B"]:
   ....:     df[col].fillna(df[col].mean(), inplace=True)
   ....:

In [33]: df
Out[33]:
   A  B   C
0  1  2 NaN
1  4  2   6


(对于fillna在此用例中使用column参数是否有意义?)

所有这一切并不是说熊猫的内存效率低下……但是有时必须考虑有效的(和内存有效的)代码。

*应用通常不会就地有意义(而IMO很少会希望此行为)。

10-06 00:01