本文介绍了遇到第一个例外时,怎样才能使抓取物爬行并退出?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
出于开发目的,我想尽快停止所有的抓取抓取活动(第一个例外(蜘蛛或管道))。
For development purposes, I would like to stop all scrapy crawling activity as soon a first exception (in a spider or a pipeline) occurs.
任何建议? / p>
Any advice?
推荐答案
自0.11起,有:
Since 0.11, there is CLOSESPIDER_ERRORCOUNT
:
如果设置为 1
,蜘蛛将在第一个例外关闭。
If it is set to 1
, the spider will be closed on the first exception.
这篇关于遇到第一个例外时,怎样才能使抓取物爬行并退出?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!