python - 为什么一个简单的 python 生产者/消费者多线程程序不能通过增加 worker 数量来加速？

下面的代码几乎与 http://docs.python.org/2/library/queue.html 上的 python 官方队列示例相同

from Queue import Queue
from threading import Thread
from time import time
import sys

num_worker_threads = int(sys.argv[1])
source = xrange(10000)

def do_work(item):
    for i in xrange(100000):
        pass

def worker():
    while True:
        item = q.get()
        do_work(item)
        q.task_done()

q = Queue()

for item in source:
    q.put(item)

start = time()

for i in range(num_worker_threads):
    t = Thread(target=worker)
    t.daemon = True
    t.start()

q.join()

end = time()

print(end - start)

以下是 Xeon 12 核处理器上的结果:

$ ./speed.py 1
12.0873839855

$ ./speed.py 2
15.9101941586

$ ./speed.py 4
27.5713479519

我原以为增加 worker 数量会减少响应时间，但相反，它正在增加。我做了一次又一次的实验，但结果没有改变。

我错过了一些明显的东西吗？或者 python 队列/线程不能正常工作？

最佳答案

Python 在多线程方面相当差。由于全局锁定，通常一次只有一个线程取得进展。见 http://wiki.python.org/moin/GlobalInterpreterLock

关于python - 为什么一个简单的 python 生产者/消费者多线程程序不能通过增加 worker 数量来加速？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/16665367/