python - Python多处理需要更多时间

我有12核和28GB RAM的服务器。我正在运行两个版本的Python；一个具有多处理功能，另一个具有顺序功能。与Sequential.py相比，我希望Multiprocessing.py能够更早完成，但是与顺序代码（25sec）相比，多处理代码（120sec）要花费5倍多的时间

Multiprocessing.py

import os,multiprocessing,time
def cube(x):
    print(x**3)
    return
if __name__ == '__main__':
    jobs = []
    start = time.time()
    for i in range(5000):
        p = multiprocessing.Process(target=cube(i))
        jobs.append(p)
        p.start()
    end = time.time()
    print end - start

顺序的

import os,time
def cube(x):
    print(x**3)
    return
if __name__ == '__main__':
    start = time.time()
    for i in range(5000):
        cube(i)
    end = time.time()
    print end - start

你能帮忙吗？

最佳答案

问题在于，相对于IPC通信开销而言，要做的工作太少。

多维数据集功能不是多处理加速的理想选择。尝试一些“更有趣”的函数，例如计算1到n的立方和的函数或类似的函数：

import os, multiprocessing, time

def sum_of_cubes(n):
    return sum(x**3 for x in range(n))

if __name__ == '__main__':

    from multiprocessing.pool import ThreadPool as Pool

    pool = Pool(25)

    start = time.time()
    print(pool.map(sum_of_cubes, range(1000, 100000, 1000)))
    end = time.time()
    print(end - start)

一般规则是：


不要启动更多的池，而您的核心可以从中受益
不要传递大量数据或返回大量数据（太多的IPC负载）
在与IPC开销相关的过程中做了大量工作。

关于python - Python多处理需要更多时间，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/32020662/