我有很多微不足道的可并行化计算,并且有很多(100多个)通过SSH + NFS网络分布的核心。
最简单的并行化方法是什么。
问题是我不知道每个任务将花费多长时间,因此我需要某种队列。
有没有很容易使用的东西?
最佳答案
Mincemeat.py是专门用于此目的的MapReduce的轻量级Python实现。没有一种简单的方法可以启动所有进程(除非集群中有类似Condor之类的东西),但是否则它应该可以满足您的需求。
关于bash - 使用SSH和NFS在群集上并行化的最简单方法是什么?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/4019457/