是否可以在爬虫蜘蛛中使用多个线程?例如,假设我构建了一个爬虫,它可以抓取博客主题并保存其中的所有消息。我想将每个主题耦合到池中的一个线程,该线程将抓取所有需要的信息。每个线程都会以这种方式抓取不同的主题。
最佳答案
Scrapy 本身是单线程的,因此 不能 在蜘蛛中使用多个线程。但是,您可以同时使用多个蜘蛛 ( CONCURRENT_REQUESTS
),这可能对您有所帮助 ( see Common Practices )
Scrapy 不使用多线程,因为它建立在 Twisted 之上,这是一个异步 http 框架。
关于python - 在爬虫蜘蛛中使用线程,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/29474659/