我有一个相当大的对象列表,我想并行应用一个复杂的函数,但是我当前的方法使用了太多的内存。我认为引用类可能会有所帮助,但是使用mcapply修改它们似乎无效。

该函数修改了对象本身,因此我用新对象覆盖了原始对象。由于该对象是一个列表,而我只修改了其中的一小部分,所以我希望R的“修改时复制”语义可以避免制作多个副本。但是,在运行它时,我正在做的事情似乎并非如此。这是我一直在使用的基本R方法的一个小示例。它将余额正确重置为零。

## make a list of accounts, each with a balance
## and a function to reset the balance
foo <- lapply(1:5, function(x) list(balance=x))
reset1 <- function(x) {x$balance <- 0; x}
foo[[4]]$balance
## 4 ## BEFORE reset
foo <- mclapply(foo, reset1)
foo[[4]]$balance
## 0 ## AFTER reset

看起来,使用引用类可能会有所帮助,因为它们是可变的,并且当使用lapply时,它确实可以达到我的预期;余额重置为零。
Account <- setRefClass("Account", fields=list(balance="numeric"),
                       methods=list(reset=function() {balance <<- 0}))

foo <- lapply(1:5, function(x) Account$new(balance=x))
foo[[4]]$balance
## 4
invisible(lapply(foo, function(x) x$reset()))
foo[[4]]$balance
## 0

但是,当我使用mclapply时,它无法正确重置。请注意,如果您使用的是Windows或使用mc.cores=1,则会改为调用lapply
foo <- lapply(1:5, function(x) Account$new(balance=x))
foo[[4]]$balance
## 4
invisible(mclapply(foo, function(x) x$reset()))
foo[[4]]$balance
## 4

这是怎么回事?如何并行使用引用类?是否有更好的方法来避免不必要的对象复制?

最佳答案

我认为 fork 的进程虽然可以访问工作空间中的所有变量,但一定不能更改它们。这行得通,但是我还不知道它是否可以改善内存问题。

foo <- mclapply(foo, function(x) {x$reset(); x})
foo[[4]]$balance
## 0

10-06 07:18