我正在使用scrapy以便从网站中提取内容。这是网站元素结构的一部分:

python - 如何在我正在爬网的网站上在控制台上打印特定类的所有内容?-LMLPHP
我想在控制台上打印single-main-content类中包含的所有内容,因此我编写了以下脚本:

import scrapy

class SkillsSpider(scrapy.Spider):
    name = 'skills'

    start_urls = [
        'http://data.europa.eu/esco/skill/1a4cc54f-1e53-442b-a6d2-1682dc8ef8f9'
    ]

    def parse(self, response):
        for items in response.css('single-main-content'):
            text = items.css('single-main-content').extract()
            print(text)


尽管如此,我的控制台上没有打印任何与之相关的内容。有人可以帮我了解我在做什么错吗?感谢您的帮助

最佳答案

'single-main-content'是一个CSS类,但是在执行以下操作时:
 response.css('single-main-content')
您在搜索HTML元素时,应该执行以下操作:
 response.css('.single-main-content')

当您执行for items in response.css('.single-main-content'):时,您要遍历该容器中的每个元素,因此您不会在其中找到.single-main-content,而应该尝试使用类似for items in response.css('*::text'):的方法。

10-06 04:53
查看更多