r - doMC vs doSNOW vs doSMP vs doMPI:为什么 'foreach'的各种并行后端在功能上不相同？

我有一些已经在各种机器上运行的测试代码段，它们始终具有相同的结果。我认为各种do ...软件包背后的理念是它们可以互换用作foreach的％dopar％的后端。为什么不是这样？

例如，此代码段有效:

library(plyr)
library(doMC)
registerDoMC()
x <- data.frame(V= c("X", "Y", "X", "Y", "Z" ), Z = 1:5)
ddply(x, .(V), function(df) sum(df$Z),.parallel=TRUE)

这些代码片段均会失败:

library(plyr)
library(doSMP)
workers <- startWorkers(2)
registerDoSMP(workers)
x <- data.frame(V= c("X", "Y", "X", "Y", "Z" ), Z = 1:5)
ddply(x, .(V), function(df) sum(df$Z),.parallel=TRUE)
stopWorkers(workers)

library(plyr)
library(snow)
library(doSNOW)
cl <- makeCluster(2, type = "SOCK")
registerDoSNOW(cl)
x <- data.frame(V= c("X", "Y", "X", "Y", "Z" ), Z = 1:5)
ddply(x, .(V), function(df) sum(df$Z),.parallel=TRUE)
stopCluster(cl)

library(plyr)
library(doMPI)
cl <- startMPIcluster(count = 2)
registerDoMPI(cl)
x <- data.frame(V= c("X", "Y", "X", "Y", "Z" ), Z = 1:5)
ddply(x, .(V), function(df) sum(df$Z),.parallel=TRUE)
closeCluster(cl)

在所有四种情况下，foreach(i = 1:3,.combine = "c") %dopar% {sqrt(i)}都会产生完全相同的结果，所以我知道我已经安装了软件包，并且在测试它们的每台计算机上都能正常工作。

doMC与doSMP，doSNOW和doMPI有何不同？

最佳答案

doMC派生当前R进程，因此它继承了所有现有变量。所有其他do后端仅传递明确请求的变量。不幸的是，我没有意识到这一点，只测试了doMC-这是我希望在下一个plyr版本中修复的问题。

关于r - doMC vs doSNOW vs doSMP vs doMPI:为什么 'foreach'的各种并行后端在功能上不相同？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/5588914/