我需要发送许多http post请求(几千个)并并行读取响应。我在python中使用httplib,发送请求平均需要0.5毫秒,读取响应相当慢。我使用协程(gevent)而不是线程来加快速度。
为了加快速度,我考虑了以下几点:
编写c代码(我需要在c中找到一个好的http库),并编写一个c扩展
使用cython
哪种方法可以产生运行最快的代码?任何与一种或另一种方法分享经验的做法也将非常感谢。任何其他想法都非常欢迎。

最佳答案

我建议看一看PyCURL。在执行此操作之前,您应该检查在从命令行使用curl时是否获得更高的吞吐量。如果不是这样的话,你用pycurl可能不会得到更好的结果。

关于python - Python中的快速http查询,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/30975265/

10-12 00:35
查看更多