本文介绍了Pickle thread.lock(Pymongo)的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有一个具有以下方法的类:
def get_add_new_links(self, max_num_links):
self.get_links_m2(max_num_links)
processes = mp.cpu_count()
pool = mp.Pool(processes=processes)
func = partial(worker, self)
with open(os.path.join(self.report_path, "links.txt"), "r") as f:
reports = pool.map(func, f.readlines())
pool.close()
pool.join()
其中get_links_m2
是创建文件";links.txt";的另一个方法。工作人员为:
def worker(obje, link):
doc, rep = obje.get_info_m2(link)
obje.add_new_active(doc, sure_not_exists=True)
return rep
方法get_info_m2
访问链接并提取一些信息。方法add_new_active
将信息添加到MongoDB。
我的代码可能有什么问题?当我运行它时,我得到这个错误(和回溯):
推荐答案
如the docs中所述:
永远不要这样做:
client = pymongo.MongoClient()
# Each child process attempts to copy a global MongoClient
# created in the parent process. Never do this.
def func():
db = client.mydb
# Do something with db.
proc = multiprocessing.Process(target=func)
proc.start()
相反,必须在Worker函数内初始化客户端。
这篇关于Pickle thread.lock(Pymongo)的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!