我有很多活跃的公共代理,我想使用它们来抓取一些页面。
谁能给我一个关于如何在Dryscrape中设置代理的例子?
https://github.com/niklasb/dryscrape
我尝试使用python设置sys env http_proxy,但没有工作。
最佳答案
您可以使用dryscrape.Session.set_proxy
方法设置代理。
例如:
my_session = dryscrape.Session(base_url = 'https://stackoverflow.com')
my_session.set_proxy('127.0.0.1', 9000)