我在python上的计算有一个瓶颈:我需要重新排列一个大列表(~10^9元素)。
当前实施:

import random
random.shuffle(list)

使用这种方法,只涉及一个核心有没有可能同时洗牌一个大名单?

最佳答案

您可以查看Process类,可以通过以下方式举例说明:

import random
from multiprocessing import Process


def worker_func(variable_1):
# your code

random.shuffle(list_single)

if __name__ == '__main__':
#Create a process list
process_list = list()

pid = os.getpid()
print('Main Process is started and PID is: ' + str(pid))

#Start Process
list_example = [[1,2,3], [4, 5, 6], [7, 8, 9]]
for list_single in list_example:
    p = Process(target=worker_func, args=(list_single, ))
    p.start()
    child_pid = str(p.pid)
    print('PID is:' + child_pid)
    process_list.append(child_pid)
    child = multiprocessing.active_children()

while child != []:
    time.sleep(1)
    child = multiprocessing.active_children()

如果要并行运行此数据,可以使用multithreadingmultiprocessing。您应该定义您的worker函数并在过程中调用它。

关于python - 如何并行并行处理大量项目,python,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/44844828/

10-12 01:20
查看更多