我有很多活跃的公共代理,我想使用它们来抓取一些页面。

谁能给我一个关于如何在Dryscrape中设置代理的例子?

https://github.com/niklasb/dryscrape

我尝试使用python设置sys env http_proxy,但没有工作。

最佳答案

您可以使用dryscrape.Session.set_proxy方法设置代理。

例如:

my_session = dryscrape.Session(base_url = 'https://stackoverflow.com')
my_session.set_proxy('127.0.0.1', 9000)

09-09 20:40