我正在使用python scrapy软件包。有一种方法可以在蜘蛛运行时更新刮y的蜘蛛设置?我尝试了telnet控制台并通过以下方法更新设置:
settings.set('AUTOTHROTTLE_ENABLED', False)
当我启动蜘蛛时,“ AUTOTHROTTLE_ENABLED”为True。但是,执行上述命令后,蜘蛛的行为没有改变。我错过了什么?谢谢!
最佳答案
Scrapy设置会在引擎启动时加载,并且无法即时更改。
我不确定您要达到的目标,但是您应该考虑动态调整download_delay
spider attribute。
此外,查看autothrottle
extension source code可以帮助您提供更多选择。
关于python - 运行时更新刮y的蜘蛛,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/27624778/