我需要抓取和提取数据的网址很长，为此我想使用scrapy。
假设我有一个扭曲的反应堆设置，我正在创建蜘蛛
runner = CrawlerRunner(scrapy_settings)
d = runner.crawl(spider_cls)
有没有一种方法可以将URL发送给Spider，以便对其进行处理？
最佳答案
crawl() method可以采用其他参数：
d = runner.crawl(spider_cls, start_urls=["url"])
关于python - 刮刮一页，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/37554029/