scrapy 如何使用代理 以及设置超时时间

使用代理

1. 单文件spider局部使用代理

entry = 'http://xxxxx:[email protected]:xxx'.format("帐号", "密码","端口号")
# entry = 'http://{}'.format("api获取的ip代理")
# 传参meta迭代下一个方法
for url in self.starturl:
    yield scrapy.Request(url,meta={"proxy":entry})

中间件添加代理

首先在中间件middlewares.py中，在最后加入如下代码：

class ProxyMiddleware:
    def process_request(self,request,spider):
        entry = 'http://xxxxx:[email protected]:xxx'.format("帐号", "密码","端口号")
        request.meta["proxy"] = entry

可通过
if spider.name== "" 的方式控制单文件使用代理

然后在setting.py中设置优先级：

DOWNLOADER_MIDDLEWARES = {
   '你的项目名.middlewares.ProxyMiddleware': 100, # 100 代表优先级
}

设置超时时间

设置单个请求设置超时时间

meta = {'download_timeout':30}

设置整个文件超时时间

custom_settings = {
        'DOWNLOAD_TIMEOUT': 60,
}

全局设置超时时间

DOWNLOAD_TIMEOUT = 60

Scrapy设置下载延时和自动限速（配合代理使用）

单个请求

custom_settings = {
    'DOWNLOAD_DELAY': 0.3,
    'AUTOTHROTTLE_ENABLED': True
}

全局设置

#延时2秒，不能动态改变，时间间隔固定，容易被发现，导致ip被封
DOWNLOAD_DELAY=2

# RANDOMIZE_DOWNLOAD_DELAY 在settings.py文件中设置
# 启用后，当从相同的网站获取数据时，Scrapy将会等待一个随机的值，延迟时间为0.5到1.5之间的一个随机值乘以DOWNLOAD_DELAY
RANDOMIZE_DOWNLOAD_DELAY=True

# 自动限速扩展 在settings.py中配置

AUTOTHROTTLE_ENABLED #默认为False，设置为True可以启用该扩展
AUTOTHROTTLE_START_DELAY #初始下载延迟，单位为秒，默认为5.0
AUTOTHROTTLE_MAX_DELAY #设置在高延迟情况下的下载延迟，单位为秒，默认为60
AUTOTHROTTLE_DEBUG #用于启动Debug模式，默认为False
CONCURRENT_REQUESTS_PER_DOMAIN #对单个网站进行并发请求的最大值，默认为8
CONCURENT_REQUESTS_PER_IP #对单个IP进行并发请求的最大值，如果非0,则忽略CONCURRENT_REQUESTS_PER_DOMAIN设定，使用该IP限制

class ErrorRetryMiddleware(RetryMiddleware):

    def process_exception(self, request, exception, spider):
        if isinstance(exception, TimeoutError) or isinstance(exception, TCPTimedOutError):
            return self._retry(request, exception, spider)

感觉好像不是最优解 这个中间件也就只是继承了一下 重写了一下process_exception方法
有什么更好的方法 希望看到这篇博客的大佬 评论一下 谢谢