用于网络爬虫的python

用于网络爬虫的python

看来我可以通过两种方式使用python进行快速搜寻器:


带块插座的线程池
非块套接字选择,异步等。


我认为这里没有真正的线程需求,而解决方案2更好。

哪个更好?为什么?

最佳答案

通常,Twisted比异步方法更可取。它是can also work with thread pools的异步I / O框架。

在Python中,您应该更喜欢异步IO而不是线程,这仅仅是因为threads are a second class citizen in its canonical implementation (CPython)受GIL的影响。

关于python - 用于网络爬虫的python asyncore或threadpool?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/3673111/

10-09 19:27