是否可以在爬虫蜘蛛中使用多个线程?例如,假设我构建了一个爬虫,它可以抓取博客主题并保存其中的所有消息。我想将每个主题耦合到池中的一个线程,该线程将抓取所有需要的信息。每个线程都会以这种方式抓取不同的主题。

最佳答案

Scrapy 本身是单线程的,因此 不能 在蜘蛛中使用多个线程。但是,您可以同时使用多个蜘蛛 ( CONCURRENT_REQUESTS ),这可能对您有所帮助 ( see Common Practices )

Scrapy 不使用多线程,因为它建立在 Twisted 之上,这是一个异步 http 框架。

关于python - 在爬虫蜘蛛中使用线程,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/29474659/

10-14 19:00
查看更多