我一直想让一只简单的蜘蛛和斯皮里一起跑,但一直都有错误:
Could not find spider for domain:stackexchange.com
当我用表达式scrapy-ctl.py crawl stackexchange.com运行代码时蜘蛛如下:

from scrapy.spider import BaseSpider
from __future__ import absolute_import


class StackExchangeSpider(BaseSpider):
    domain_name = "stackexchange.com"
    start_urls = [
        "http://www.stackexchange.com/",
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        open(filename, 'wb').write(response.body)

SPIDER = StackExchangeSpider()`

另一个人几个月前发布了几乎完全相同的问题,但没有说明他们是如何解决的,Scrapy spider is not working
我一直在跟踪这项手术,但我不明白它为什么不起作用。
当我在eclipse中运行这段代码时,我得到一个错误
Traceback (most recent call last): File "D:\Python Documents\dmoz\stackexchange\stackexchange\spiders\stackexchange_spider.py", line 1, in <module> from scrapy.spider import BaseSpiderImportError: No module named scrapy.spider
我不明白为什么它没有找到基蜘蛛模块。我的蜘蛛必须保存在脚本目录中吗?

最佳答案

尝试运行python yourproject/spiders/domain.py查看是否有语法错误。我认为你不应该允许绝对进口,因为废品依赖亲戚进口。

关于python - Scrapy找不到蜘蛛错误,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/2886503/

10-16 03:17