我目前正在使用aiohttp模块开发一个Web应用程序。我正在使用：aiohttp.web，asyncio，uvloop，aiohttp_session，aiohttp_security，aiomysql和aioredis
我已经针对它进行了一些基准测试，尽管它们相当不错，但我不禁想要更多。我知道Python本质上是单线程的。 AIOHTTP使用异步是非阻塞的，但是我假设它没有利用所有CPU内核是正确的吗？
我的想法：在多处理模式下通过concurrent.futures运行aiohttp.web代码的多个实例。每个过程将在不同的端口上为站点提供服务。然后，我将在它们前面放置一个负载平衡器。 MySQL和Redis可以在必要时用于共享状态，例如用于会话。
问题：给定具有多个CPU内核的服务器，这是否会导致所需的性能提高？如果是这样，是否有任何特定的模式可用来避免问题？我无法想到这些aio模块正在执行的任何操作都将只需要一个线程，尽管我可能是错的。
注意：这不是我提出的主观问题。该模块当前是否绑定到一个线程/进程，或者没有绑定-可以从多处理模块+负载均衡器中受益，也可以没有。
最佳答案
没错，asyncio仅使用一个CPU。 （一个事件循环仅使用一个线程，因此仅一个CPU）
我不能说整个项目是受网络限制还是受CPU限制。
你得试试。
您可以使用nginx或haproxy作为负载均衡器。
您甚至可以尝试完全不使用负载平衡器。我从未尝试过使用此功能来实现负载平衡，就像故障转移系统的概念证明一样。
使用新内核时，多个进程可以侦听同一端口（使用SO_REUSEPORT选项时），并且我猜想是由内核来进行轮询。
这里是指向文章的小链接，该文章比较了典型的nginx配置与具有SO_REUSEPORT功能的nginx设置的性能：
https://blog.cloudflare.com/the-sad-state-of-linux-socket-balancing/SO_REUSEPORT似乎可以平均分配CPU电量，但是可能会增加响应时间的变化。不确定这与您的设置是否相关，但我想让您知道。
新增2020-02-04：
我的解决方案添加了2019-12-09的工作原理，但触发了弃用警告。
当我自己有更多的时间和时间进行测试时，我将在此处发布改进的解决方案。目前您可以在AIOHTTP - Application.make_handler(...) is deprecated - Adding Multiprocessing上找到它
添加的2019-12-09：
这是一个HTTP服务器的小示例，可以在同一套接字上侦听多次启动。
内核将分发任务。我从未检查过这是否有效。
redirectport.py：
import asyncio
import os
import socket
import time
from aiohttp import web
def mk_socket(host="127.0.0.1", port=8000, reuseport=False):
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
if reuseport:
SO_REUSEPORT = 15
sock.setsockopt(socket.SOL_SOCKET, SO_REUSEPORT, 1)
sock.bind((host, port))
return sock
async def handle(request):
name = request.match_info.get('name', "Anonymous")
pid = os.getpid()
text = "{:.2f}: Hello {}! Process {} is treating you\n".format(
time.time(), name, pid)
time.sleep(0.5) # intentionally blocking sleep to simulate CPU load
return web.Response(text=text)
if __name__ == '__main__':
host = "127.0.0.1"
port=8000
reuseport = True
app = web.Application()
sock = mk_socket(host, port, reuseport=reuseport)
app.add_routes([web.get('/', handle),
web.get('/{name}', handle)])
loop = asyncio.get_event_loop()
coro = loop.create_server(
protocol_factory=app.make_handler(),
sock=sock,
)
srv = loop.run_until_complete(coro)
loop.run_forever()
一种测试方法：
./reuseport.py & ./reuseport.py &
sleep 2 # sleep a little so servers are up
for n in 1 2 3 4 5 6 7 8 ; do wget -q http://localhost:8000/$n -O - & done
输出可能如下所示：
1575887410.91: Hello 1! Process 12635 is treating you
1575887410.91: Hello 2! Process 12633 is treating you
1575887411.42: Hello 5! Process 12633 is treating you
1575887410.92: Hello 7! Process 12634 is treating you
1575887411.42: Hello 6! Process 12634 is treating you
1575887411.92: Hello 4! Process 12634 is treating you
1575887412.42: Hello 3! Process 12634 is treating you
1575887412.92: Hello 8! Process 12634 is treating you
关于python - Python AIOHTTP.web服务器多处理负载均衡器？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/59217853/