python - Scrapy SgmlLinkExtractor问题

我正在尝试使SgmlLinkExtractor正常工作。

这是签名:

SgmlLinkExtractor(allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths(), tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None)

我只是在使用allow=()
所以，我进入

rules = (Rule(SgmlLinkExtractor(allow=("/aadler/", )), callback='parse'),)

因此，初始网址是'http://www.whitecase.com/jacevedo/'，我输入的是allow=('/aadler',)，并希望'/aadler/'也将被扫描。但取而代之的是，蜘蛛程序会扫描初始网址，然后关闭:

[wcase] INFO: Domain opened
[wcase] DEBUG: Crawled </jacevedo/> (referer: <None>)
[wcase] INFO: Passed NuItem(school=[u'JD, ', u'Columbia Law School, Harlan Fiske Stone Scholar, Parker School Recognition of Achievement in International and Foreign Law, ', u'2005'])
[wcase] INFO: Closing domain (finished)

我在这里做错了什么？

这里有人成功使用Scrapy可以帮助我完成这只蜘蛛吗？

感谢您的帮助。

我在下面包含了蜘蛛的代码:

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from Nu.items import NuItem
from urls import u

class NuSpider(CrawlSpider):
    domain_name = "wcase"
    start_urls = ['xxxxxx/jacevedo/']

    rules = (Rule(SgmlLinkExtractor(allow=("/aadler/", )), callback='parse'),)

    def parse(self, response):
        hxs = HtmlXPathSelector(response)

        item = NuItem()
        item['school'] = hxs.select('//td[@class="mainColumnTDa"]').re('(?<=(JD,\s))(.*?)(\d+)')
        return item

SPIDER = NuSpider()

注意:因此，我不会发布超过1个网址，因此请根据需要替换初始网址。对于那个很抱歉。

最佳答案

您正在覆盖它出现的“解析”方法。 “parse”是CrawlSpider中用于跟踪链接的私有(private)方法。

关于python - Scrapy SgmlLinkExtractor问题，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/1809817/