获取支持 NA/的布尔 pandas 列可以为空

问题描述

如何创建一个支持 Nan/缺失值的 dtype bool(或 int)的 pandas 数据框列?

How can I create a pandas dataframe column with dtype bool (or int for that matter) with support for Nan/missing values?

当我这样尝试时:

d = {'one' : np.ma.MaskedArray([True, False, True, True], mask = [0,0,1,0]),
'two' : pd.Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
df = pd.DataFrame(d)
print (df.dtypes)
print (df)

column one 被隐式转换为对象.ints 也类似:

column one is implicitly converted to object. Likewise similar for ints:

d = {'one' : np.ma.MaskedArray([1,3,2,1], mask = [0,0,1,0]),
'two' : pd.Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
df = pd.DataFrame(d)
print (df.dtypes)
print (df)

one 在这里隐式转换为 float64，如果我留在 int 域并且不使用它的特质(在比较、舍入误差等时总是有容忍度)

one is here implicitly converted to float64, and I'd prefer if I stayed in int domain and not handle floating point arithmetic with its idiosyncrasies (always have tolerance when comparing, rounding errors, etc.)

推荐答案

pandas >= 1.0

从 pandas 1.0.0(2020 年 1 月)开始，有 直接对可为空的布尔值进行实验性支持:

In [183]: df.one.astype('boolean')
Out[183]:
a     True
b    False
c     <NA>
d     True
Name: one, dtype: object

在这个版本中，pandas 在整数情况下也将使用 pd.NA 代替 np.nan:

In this version, pandas will also use pd.NA instead of np.nan in the integer case:

In [166]: df.astype('Int64')
Out[166]:
    one  two
a     1    1
b     3    2
c  <NA>    3
d     1    4

熊猫 >= 0.24

在整数情况下，从 pandas 0.24(2019 年 1 月)开始，您可以使用 可空整数 来实现你想要的:

In [165]: df
Out[165]:
   one  two
a  1.0  1.0
b  3.0  2.0
c  NaN  3.0
d  1.0  4.0

In [166]: df.astype('Int64')
Out[166]:
   one  two
a    1    1
b    3    2
c  NaN    3
d    1    4

这通过将支持数组转换为 arrays.IntegerArray，并且布尔值没有等效的东西，但是在 这个 GitHub 问题 和 这个 PyData 演讲.您可以编写自己的 扩展类型 来覆盖这种情况也是如此，但如果您可以接受由整数 0 和 1 表示的布尔值，则一种方法可能如下:

This works by converting the backing array to an arrays.IntegerArray, and there is no equivalent thing for booleans, but some work in that direction is discussed in this GitHub issue and this PyData talk. You could write your own extension type to cover this case as well, but if you can live with your booleans being represented by the integers 0 and 1, one approach could be the following:

In [183]: df.one
Out[183]:
a     True
b    False
c      NaN
d     True
Name: one, dtype: object

In [184]: (df.one * 1).astype('Int64')
Out[184]:
a      1
b      0
c    NaN
d      1
Name: one, dtype: Int64

这篇关于获取支持 NA/的布尔 pandas 列可以为空的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！