感觉比java写起来还要忧伤.....
"""
select , poll,epoll
注意: epoll并不一定比select的性能好,这需要看场景
1. 在高并发场景,且连接活跃度不是很高的时候,epoll比select好, 比如web应用
2. 在并发不高,但连接很活跃的场景下,select 比epoll好, 比如游戏 编程模式: select + 事件循环 + 回调 """
import socket
from urllib.parse import urlparse
# 使用DefaultSelector时, python会根据应用平台自动选择select模式或者epoll模式
# DefaultSelector 对select 和 epoll进行了封装
from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE selector = DefaultSelector() # 使用select 完成http请求 (window不支持epoll)
urls = ["http://www.baidu.com"]
stop = False # 设置一个全局变量,用控制loop结束,否则在window环境下会报错 class Fetcher:
def get_url(self, url):
'''通过socket完成http请求'''
self.url = url
url = urlparse(url)
self.host = url.netloc
self.path = url.path
if self.path == "":
self.path = "/"
# 建立socket连接
self.client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
self.client.setblocking(False) # 设置成非阻塞模式
self.data = b"" # 表示字节
try:
self.client.connect((self.host, 80))
except BlockingIOError as e:
pass
# 注册, 监听write事件回调
selector.register(self.client.fileno(), EVENT_WRITE, self.writable) def writable(self, key):
'''写回调函数'''
selector.unregister(key.fd)
self.client.send(
"GET {} HTTP/1.1\r\nHOST:{}\r\nConnection:close\r\n\r\n".format(self.path, self.host).encode("utf-8"))
# 注册, 监听read事件回调
selector.register(self.client.fileno(), EVENT_READ, self.readable) def readable(self, key): d = self.client.recv(1024)
if d:
self.data += d
else: # 数据读取完毕
selector.unregister(key.fd)
data = self.data.decode("utf-8")
html_data = data.split('\r\n\r\n')[1]
print(html_data)
self.client.close()
urls.remove(self.url) # 处理完毕一个url后,就将url从urls中移除
if not urls: # 如果urls中没有数据了, 就可以停止loop循环事件了
global stop
stop = True def loop():
'''
事件循环,不停的请求socket的状态,并调用对应的回调函数 :return:
'''
# 1. select 本身并不支持register模式,但是DefaultSelector对select进行了封装
# 2. socket 状态变化以后的回调是由程序来完成, 并不是由操作系统来完成
while not stop:
ready = selector.select()
for key, mask in ready:
call_back = key.data
call_back(key) if __name__ == '__main__':
fetcher = Fetcher()
fetcher.get_url('http://www.baidu.com')
loop()