就像 future 写同一个文件时我应该手动加锁以保证他们一一写吗?

  • 我的意思是 concurrent.futures.ThreadPoolExecutor
  • 而且我知道 java executor 是线程安全的

  • 一个例子:
    def task():
        with open("somefile", "a") as fh:
            fh.write(part_of_data)
        do_something()
        with open("somefile", "a") as fh:
            fh.write(other_data)
    

    在这个例子中,当在 ThreadPoorExecuter 中执行任务时,我想确保每个 other_data 都附加到 part_of_data 旁边

    我不确定 with 语句是原子操作,但如果不是,执行程序还应保证文件正确打开和关闭

    最佳答案

    这是我在查看标准库中的 of the ThreadPoolExecutor 实现后的研究:
    shutdown() 方法是线程安全的,因为它在修改共享状态之前需要锁定。
    submit() 方法仅在其某些操作中是线程安全的,但实际上并不重要。当您提交要在线程池中执行的新函数时,您的函数被放置在线程安全 queue.SimpleQueue 的实例中。然后工作线程阻塞在这个队列上,等待弹出提交的函数来执行它们。因为队列是线程安全的,所以提交函数的分派(dispatch)是线程安全的,这意味着您提交的任何函数都不会孤立(未执行)或执行两次。

    不是线程安全的部分是内部的 _adjust_thread_count() 方法。它可以同时从两个不同的线程调用,创建一个竞争,其中两个线程都看到 num_threads < self._max_workers 并且都创建新线程来填充线程池。但是,如果发生这种情况,也没关系,因为它只会导致线程池中出现额外的线程。对于大多数项目来说,这几乎不是一个需要关心的问题。

    关于python - python ThreadPoolExecutor 线程安全吗?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/45286344/

    10-16 23:30
    查看更多