我正在用 Python 编写一个爬虫,为了使 Ctrl+C 不会导致我的爬虫在下一次运行时重新开始,我需要将处理双端队列保存在一个文本文件中(每行一个项目)并在每次迭代时更新它,更新操作需要超快。为了不重新发明轮子,我问是否有一个既定的模块来做到这一点?

最佳答案

作为替代方案,您可以设置退出函数,并在退出时腌制双端队列。

Exit function
Pickle

关于python - 将双端队列保存在文本文件中,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/355739/

10-10 23:50