我正在使用scrapy
以便从网站中提取内容。这是网站元素结构的一部分:
我想在控制台上打印single-main-content
类中包含的所有内容,因此我编写了以下脚本:
import scrapy
class SkillsSpider(scrapy.Spider):
name = 'skills'
start_urls = [
'http://data.europa.eu/esco/skill/1a4cc54f-1e53-442b-a6d2-1682dc8ef8f9'
]
def parse(self, response):
for items in response.css('single-main-content'):
text = items.css('single-main-content').extract()
print(text)
尽管如此,我的控制台上没有打印任何与之相关的内容。有人可以帮我了解我在做什么错吗?感谢您的帮助
最佳答案
'single-main-content'
是一个CSS类,但是在执行以下操作时:
response.css('single-main-content')
您在搜索HTML元素时,应该执行以下操作:
response.css('.single-main-content')
当您执行for items in response.css('.single-main-content'):
时,您要遍历该容器中的每个元素,因此您不会在其中找到.single-main-content
,而应该尝试使用类似for items in response.css('*::text'):
的方法。