我正在使用python scrapy软件包。有一种方法可以在蜘蛛运行时更新刮y的蜘蛛设置?我尝试了telnet控制台并通过以下方法更新设置:

settings.set('AUTOTHROTTLE_ENABLED', False)


当我启动蜘蛛时,“ AUTOTHROTTLE_ENABLED”为True。但是,执行上述命令后,蜘蛛的行为没有改变。我错过了什么?谢谢!

最佳答案

Scrapy设置会在引擎启动时加载,并且无法即时更改。

我不确定您要达到的目标,但是您应该考虑动态调整download_delay spider attribute

此外,查看autothrottle extension source code可以帮助您提供更多选择。

关于python - 运行时更新刮y的蜘蛛,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/27624778/

10-13 06:40