本文介绍了Pickle thread.lock(Pymongo)的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我有一个具有以下方法的类:

def get_add_new_links(self, max_num_links):
    self.get_links_m2(max_num_links)
    processes = mp.cpu_count()
    pool = mp.Pool(processes=processes)
    func = partial(worker, self)
    with open(os.path.join(self.report_path, "links.txt"), "r") as f:
        reports = pool.map(func, f.readlines())
    pool.close()
    pool.join()

其中get_links_m2是创建文件";links.txt";的另一个方法。工作人员为:

def worker(obje, link):
    doc, rep = obje.get_info_m2(link)
    obje.add_new_active(doc, sure_not_exists=True)
    return rep

方法get_info_m2访问链接并提取一些信息。方法add_new_active将信息添加到MongoDB。

我的代码可能有什么问题?当我运行它时,我得到这个错误(和回溯):

推荐答案

the docs中所述:

永远不要这样做:

client = pymongo.MongoClient()

# Each child process attempts to copy a global MongoClient
# created in the parent process. Never do this.
def func():
  db = client.mydb
  # Do something with db.

proc = multiprocessing.Process(target=func)
proc.start()

相反,必须在Worker函数内初始化客户端。

这篇关于Pickle thread.lock(Pymongo)的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

09-23 19:31