python - 如何将scrapy.Field 填充为字典

我正在使用 www.apkmirror.com(使用 Scrapy 蜘蛛)为 SitemapSpider 构建一个刮刀。到目前为止，以下工作:

DEBUG = True

from scrapy.spiders import SitemapSpider
from apkmirror_scraper.items import ApkmirrorScraperItem


class ApkmirrorSitemapSpider(SitemapSpider):
    name = 'apkmirror-spider'
    sitemap_urls = ['http://www.apkmirror.com/sitemap_index.xml']
    sitemap_rules = [(r'.*-android-apk-download/$', 'parse')]

    if DEBUG:
        custom_settings = {'CLOSESPIDER_PAGECOUNT': 20}

    def parse(self, response):
        item = ApkmirrorScraperItem()
        item['url'] = response.url
        item['title'] = response.xpath('//h1[@title]/text()').extract_first()
        item['developer'] = response.xpath('//h3[@title]/a/text()').extract_first()
        return item

其中 ApkMirrorScraperItem 在 items.py 中定义如下:

class ApkmirrorScraperItem(scrapy.Item):
    url = scrapy.Field()
    title = scrapy.Field()
    developer = scrapy.Field()

如果我使用命令从项目目录运行它，则生成的 JSON 输出

scrapy crawl apkmirror-spider -o data.json

是一个 JSON 字典数组，键为 url 、 title 和 developer ，以及相应的字符串作为值。但是，我想修改它，以便 developer 的值本身就是一个带有 name 字段的字典，这样我就可以像这样填充它:

item['developer']['name'] = response.xpath('//h3[@title]/a/text()').extract_first()

但是，如果我尝试这个，我会得到 KeyError s，如果我将 developer 的 Field (根据 https://doc.scrapy.org/en/latest/topics/items.html#item-fields 是 dict )初始化为 developer = scrapy.Field(name=None) 。我该怎么办？

最佳答案

Scrapy 在内部将字段实现为 dicts，但这并不意味着它们应该作为 dicts 访问。当您调用 item['developer'] 时，您真正要做的是获取字段的 值 ，而不是字段本身。因此，如果尚未设置该值，则会引发 KeyError。

考虑到这一点，有两种方法可以解决您的问题。

第一个，只需将 developer 字段值设置为字典:

def parse(self, response):
    item = ApkmirrorScraperItem()
    item['url'] = response.url
    item['title'] = response.xpath('//h1[@title]/text()').extract_first()
    item['developer'] = {'name': response.xpath('//h3[@title]/a/text()').extract_first()}
    return item

第二步，创建一个新的Developer类并将developer值设置为该类的一个实例:

# this can go to items.py
class Developer(scrapy.Item):
    name = scrapy.Field()

def parse(self, response):
    item = ApkmirrorScraperItem()
    item['url'] = response.url
    item['title'] = response.xpath('//h1[@title]/text()').extract_first()

    dev = Developer()
    dev['name'] = response.xpath('//h3[@title]/a/text()').extract_first()
    item['developer'] = dev

    return item

希望能帮助到你 :)

关于python - 如何将scrapy.Field 填充为字典，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/43396753/