一、介绍
多进程是指在同一程序中创建多个独立的进程来执行任务。每个进程都有自己独立的内存空间,相互之间不干扰。
因为GIL锁的存在,对于CPU密集型任务(例如计算密集型操作),使用多进程可以提高程序的效率。
优点:
1.可以利用多核CPU,提高计算效率。
2.每个进程独立运行,安全性高。

二、使用
Python提供了multiprocessing模块来实现多进程。
注意:
1.multiprocessing.Process 用于创建进程。target参数指定了进程要执行的函数,args参数传递给该函数的参数。
2.使用 start()方法启动进程。
3.join()方法使主进程等待子进程完成。

import multiprocessing 
import time 

def worker(name):
	print(f"Worker { name} starting")
	time. sleep(2)
	print(f"Worker { name} finished")

if __name__ == '__main__':
	processes -[]
	for i in range(5):
		p = multiprocessing. Process(target=worker, args=(i,))
		processes. append(p) 
		p. start()
	
	for p in processes: 
	p. join()
	print("A11 workers finished")
Worker 0 starting
Worker 1 starting
Worker 2 starting
Worker 3 starting
Worker 4 starting
Worker 0 finished
Worker 1 finished
Worker 2 finished
Worker 3 finished
worker 4 finished
All workers finished

三、进程池
进程池是一种预先创建的一组工作进程,这些进程可以重复使用来执行多个任务。通过进程池,可以避免频繁创建和销毁进程的开销,从而提高效率。
4.1 进程池的使用
Python的 multiprocessing 模块提供了Pool类来实现进程池。

from multiprocessing import Pool 
import time 

def worker(num):
	print(f"Worker { num} starting")
	time. sleep(2)
	print(f"Worker { num} finished") 
	return num * num 

if __name__ == 'main': 
	with Pool(processes-4) as pool: 
		results = pool.map(worker, range(10))
	print("Results:", results)

1.创建进程池:使用 Pool(processes=4)创建一个包含4个进程的进程池。
2.提交任务:pool.map(worker,range(10))将 worker函数应用到 range(10)中的每一个元素,并将任务分配给进程池中的进程去执行。
3.获取结果:map方法会阻塞主进程,直到所有任务完成,并返回结果列表。

Worker 0 starting 
Worker 1 starting
Worker 0 finished
Worker 1 finished 
Worker 2 starting 
Worker 3 starting
Worker 2 finished
Worker 4 starting 
Worker 3 finished 
Worker 4 finished 
Results:[0,1,4, 9,16]

4.2 常用方法
apply和apply_async:
apply(func,args):同步执行,类似于普通函数调用,阻塞主进程直到任务完成。
apply_async(func,args):异步执行,不阻塞主进程,通过回调函数获取结果。

from multiprocessing import Pool 

def worker(num):
	return num*num 

def print result(result):
	print("Result:",result)

if __name__ == 'main':
	with Pool(processes=4as pool:
		#同步等待结果
		result = pool.apply(worker,(10,))
		print("Synchronous Result:",result)
		
		#异步等待结果
		pool.apply_async(worker,(20,),callback=print_result)
		pool.close()
		pool.join()

map和 map_async:
使用该方法传参数时,将iterable的每个元素作为参数,相当于一次提交多个任务。
map(func,iterable):同步映射,阻塞主进程直到所有任务完成,返回结果列表。
map_async(func,iterable):异步映射,不阻塞主进程,通过回调函数获取结果。

from multiprocessing import Pool 

def worker(num): 
	return num * num 

def print result(results): 
	print("Results:", results) 

if __name__ == 'main': 
	with Pool(processes=4) as pool:
	#同步
	results = pool.map(worker, range(10)) 
	print("Synchronous Results:", results) 
	# 异步
	pool.map async(worker, range(10), callback=print_result)
	pool. close()
	pool.join()

starmap 和 starmap_async :
starmap(func, iterable_of_tuples):类似于map,但可以传递多个参数。
starmap_async(func, iterable_of_tuples): 异步版本的 starmap

from multiprocessing import Pool 

def worker(x, y):
	return x * y
def print_result(results): 
	print("Results:", results) 

if __name__ == 'main':
	with Pool(processes=4) as pool:
		#同步
		results = pool.starmap(worker, [(1, 2), (3, 4), (5, 6)])
		print("Synchronous Results:", results)
		#异步
		pool.starmap_async(worker, [(1, 2), (3, 4), (5, 6)], callback=print_result) 
		pool.close()
		pool.join()

先试用pool.close()关闭进程池,防止更多的任务提交到该池,才可以执行pool.join()阻塞主进程,等待所有子进程完成。

08-14 19:48