async await介绍
用asyncio提供的@asyncio.coroutine
可以把一个生成器标记为协程类型,然后在协程内部用yield from 等待IO操作,让出cpu执行权。
然而异步的关键字yield 和 yield from毕竟是复用生成器关键字,两者在概念上纠缠不清,所以从Python 3.5开始引入了新的语法async和await替换yield 和 yield from,让协程的代码更易懂。
简单来说,可以这样理解:
- async 替换
@asyncio.coroutine
:标识一个函数为异步函数 - await 替换 yield from:标识等待IO操作,让出CPU执行权
async 实现协程示例
由于协程在各个python版本中有细微差异,本篇以python3.10为例
import asyncio
async def coro1():
print("start coro1")
await asyncio.sleep(2)
print("end coro1")
async def coro2():
print("start coro2")
await asyncio.sleep(1)
print("end coro2")
# 创建事件循环
loop = asyncio.get_event_loop()
# 创建任务
task1 = loop.create_task(coro1())
task2 = loop.create_task(coro2())
# 运行协程
loop.run_until_complete(asyncio.gather(task1, task2))
# 关闭事件循环
loop.close()
输出结果:
start coro1
start coro2
end coro2
end coro1
代码逻辑:
- 创建一个事件循环
- 将两个异步函数coro1,coro2封装成两个任务task1,task2
- 用asyncio.gather将两个任务组合到一起,并发执行task1,task2
- 先执行task1,遇到IO切换到task2
- 执行task2,遇到IO切换,但此时没有等待执行的任务,cpu为空
- task2执行完成,task1执行完成
从示例代码可以看出,协程的几个关键要素:
- 事件循环
- 协程函数定义
- 可等待对象
- 并发执行
协程基本原理
组成协程最重要的因素就是事件循环和任务。
- 任务就是一个对象,包括执行的代码,执行完成、失败等状态以及返回结果,任务中通常会有IO切换。
- 事件循环,可以把它当做是一个while循环。while循环在周期性的运行并执行一些任务,所有任务执行完成会关闭循环。
伪代码示例如下:
任务列表 = [ 任务1, 任务2, 任务3,... ]
while True:
可执行的任务列表,已完成的任务列表 = 去任务列表中检查所有的任务,将'可执行'和'已完成'的任务返回
for 就绪任务 in 已准备就绪的任务列表:
执行已就绪的任务
for 已完成的任务 in 已完成的任务列表:
在任务列表中移除 已完成的任务
如果 任务列表 中的任务都已完成,则终止循环
获取和创建事件循环:loop = asyncio.get_event_loop()
驱动事件循环运行:loop.run_until_complete(asyncio.gather(task1, task2))
事件循环过程:
事件循环中执行任务,当执行到某一个任务时遇到IO时,协程会让出CPU给第二个任务执行,第二个任务中遇到IO再次让出CPU,直到所有任务完成。这就是协程并发性能好的一个关键能力:遇到IO切换任务执行,避免了程序等待IO完成再执行的耗时。
示例代码的高级api实现
示例代码中使用了asyncio.get_event_loop()
和 loop.run_until_complete()
等代码,这些其实asyncio包的低级API,是为了展示底层原理而使用的。通常更推荐高级APIasyncio.run()
实现协程并发。
import asyncio
async def coro1():
print("start coro1")
await asyncio.sleep(2)
print("end coro1")
async def coro2():
print("start coro2")
await asyncio.sleep(1)
print("end coro2")
async def main():
task1 = asyncio.create_task(coro1())
task2 = asyncio.create_task(coro2())
await asyncio.gather(task1, task2)
asyncio.run(main())
run() 从功能上等价于以下低阶API
loop = asyncio.get_event_loop()
task = loop.create_task(coro())
loop.run_until_complete(task)
为什么协程在IO密集时性能较好
很多人可能会疑问,多线程遇到IO也会切换,为什么协程比线程性能好呢?
简单来是三点:
- 协程更轻量级,切换需要恢复的上下文很少,所以比线程更快速
- 线程切换CPU是抢占的,协程是主动让出的,协程对CPU的使用更充分
- 协程更轻量级,启动线程需要的内存资源比协程更多
连载一系列关于python异步编程的文章。包括同异步框架性能对比、异步事情驱动原理等。欢迎关注微信公众号第一时间接收推送的文章。