python - 对 Pandas 数据框进行多处理。基于输入大小的困惑行为

我正在尝试实现类似df.apply的功能，但跨数据帧的块进行了并行化。我编写了以下测试代码，以了解我可以获得多少（相对于数据复制等）：

from multiprocessing import Pool
from functools import partial
import pandas as pd
import numpy as np
import time

def df_apply(df, f):
    return df.apply(f, axis=1)

def apply_in_parallel(df, f, n=5):
    pool = Pool(n)
    df_chunks = np.array_split(df, n)
    apply_f = partial(df_apply, f=f)
    result_list = pool.map(apply_f, df_chunks)
    return pd.concat(result_list, axis=0)

def f(x):
  return x+1

if __name__ == '__main__':
  N = 10^8
  df = pd.DataFrame({"a": np.zeros(N), "b": np.zeros(N)})

  print "parallel"
  t0 = time.time()
  r = apply_in_parallel(df, f, n=5)
  print time.time() - t0

  print "single"
  t0 = time.time()
  r = df.apply(f, axis=1)
  print time.time() - t0

怪异行为：
对于N = 10 ^ 7它起作用
对于N = 10 ^ 8它给了我一个错误

Traceback (most recent call last):
  File "parallel_apply.py", line 27, in <module>
    r = apply_in_parallel(df, f, n=5)
  File "parallel_apply.py", line 14, in apply_in_parallel
    result_list = pool.map(apply_f, df_chunks)
  File "/usr/lib64/python2.7/multiprocessing/pool.py", line 227, in map
    return self.map_async(func, iterable, chunksize).get()
  File "/usr/lib64/python2.7/multiprocessing/pool.py", line 528, in get
    raise self._value
AttributeError: 'numpy.ndarray' object has no attribute 'apply'

有人知道这是怎么回事吗？
我也很感谢您对这种并行化方式的反馈。我期望每行和数百万行的函数花费的时间比inc或sum花费的时间更多。

谢谢！

最佳答案

array_split接受任何类似数组的参数（包括pandas.DataFrame对象），但仅返回保证它返回numpy.ndarray（DataFrames不是）的保证。当然，ndarrays没有apply方法，这正是您所看到的错误。实际上，我很惊讶在任何情况下都可以使用它。您将需要将数据帧拆分为子帧，或者应用对ndarrays进行运算的函数。

关于python - 对 Pandas 数据框进行多处理。基于输入大小的困惑行为，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/26665809/