我一直想让一只简单的蜘蛛和斯皮里一起跑,但一直都有错误:Could not find spider for domain:stackexchange.com
当我用表达式scrapy-ctl.py crawl stackexchange.com
运行代码时蜘蛛如下:
from scrapy.spider import BaseSpider
from __future__ import absolute_import
class StackExchangeSpider(BaseSpider):
domain_name = "stackexchange.com"
start_urls = [
"http://www.stackexchange.com/",
]
def parse(self, response):
filename = response.url.split("/")[-2]
open(filename, 'wb').write(response.body)
SPIDER = StackExchangeSpider()`
另一个人几个月前发布了几乎完全相同的问题,但没有说明他们是如何解决的,Scrapy spider is not working
我一直在跟踪这项手术,但我不明白它为什么不起作用。
当我在eclipse中运行这段代码时,我得到一个错误
Traceback (most recent call last): File "D:\Python Documents\dmoz\stackexchange\stackexchange\spiders\stackexchange_spider.py", line 1, in <module> from scrapy.spider import BaseSpiderImportError: No module named scrapy.spider
我不明白为什么它没有找到基蜘蛛模块。我的蜘蛛必须保存在脚本目录中吗?
最佳答案
尝试运行python yourproject/spiders/domain.py
查看是否有语法错误。我认为你不应该允许绝对进口,因为废品依赖亲戚进口。
关于python - Scrapy找不到蜘蛛错误,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/2886503/