python - 如何限制scrapy中每个域抓取的项目数量？

我正在从多个网站中抓取项目(同样使用scrapy)。
我试图抓取的项目并不总是明确定义的，可能在文本中。所以我使用字符串匹配来识别项目。但是，这也会产生一些不需要的信息以及我需要的数据，并且我的抓取工具需要很长时间才能抓取不需要的信息。
为了避免这种情况，我对抓取的项目数量设置了上限。通过使用“if”条件，我在达到上限时引发 CloseSpider() 异常。
这种方法运行良好，直到我只有一个域可以抓取。如何将其扩展到多个域。

class CustomSpider(CrawlSpider):
name = "myspider"
start_urls = ['https://www.example1.com/']
allowed_domains = ['www.example1.com']
rules = [Rule(LinkExtractor(allow=()), callback='parse_info', follow = True)]

def parse_info(self, response):
    scrape_count = self.crawler.stats.get_value('item_scraped_count')
    if scrape_count == 20:
        raise CloseSpider("Limit Reached")

我的问题是，如何为以下场景扩展此代码:

class CustomSpider(CrawlSpider):
name = "myspider"
start_urls = ['https://www.example1.com/', 'https://www.example2.com/']
allowed_domains = ['www.example1.com', 'www.example2.com/']
rules = [Rule(LinkExtractor(allow=()), callback='parse_info', follow = True)]

def parse_info(self, response):

建议改变这里的逻辑

    scrape_count = self.crawler.stats.get_value('item_scraped_count')
    if scrape_count == 20:
        raise CloseSpider("Limit Reached")

最佳答案

请参阅此玩具示例:

from __future__ import print_function

import collections
try:
    from urllib.urlparse import urlsplit
except ImportError:
    from urlparse import urlsplit

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class MySpider(CrawlSpider):
    name = 'myspider'
    start_urls = ['http://quotes.toscrape.com/',
                  'http://webscraper.io/test-sites']
    allowed_domains = ['quotes.toscrape.com', 'webscraper.io']

    scraped_count = collections.defaultdict(int)
    limit = 10

    rules = [Rule(LinkExtractor(allow=()), callback='parse_page',
                  follow=True, process_request='process_request')]

    def parse_page(self, response):
        yield {
            'url': response.url
        }

    def process_request(self, request):
        url = urlsplit(request.url)[1]
        if self.scraped_count[url] < self.limit:
            self.scraped_count[url] += 1
            return request
        else:
            print('Limit reached for {}'.format(url))

它跟踪属性 scraped_count 中每个域抓取的项目数。属性 limit 包含每个域的限制。该逻辑放在 process_request 方法中，该方法作为参数传递给 Rule 并为该规则提取的每个请求调用该方法(请参阅文档)。当您超过限制时，请求将被过滤，否则它会原封不动地返回并得到处理。

如果您需要更复杂或适用于多个蜘蛛的东西，我建议您扩展 CloseSpider 扩展类，在那里实现逻辑并替换 settings.py 中的默认类。

关于python - 如何限制scrapy中每个域抓取的项目数量？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48085607/