performance - 使用foreach和％dopar％将列添加到数据框

在Windows 7和Ubuntu 64位11.04上的Revolution R 2.12.2中，我有一个包含超过100K行和超过100列的数据框，并且我为每个原始列派生了约5列(sqrt，log，log10等)并将它们添加到相同的数据框中。如果不使用foreach和％do％进行并行处理，则效果很好，但是速度很慢。当我尝试将它与foreach和％dopar％并行化时，它将无法访问全局环境(以防止出现竞争状况或类似情况)，因此我无法修改数据框，因为未找到数据框对象。

我的问题是，如何才能使更快？换句话说，如何并行化列或转换？

简化示例:

require(foreach)
require(doSMP)
w <- startWorkers()
registerDoSMP(w)

transform_features <- function()
{
    cols<-c(1,2,3,4) # in my real code I select certain columns (not all)

    foreach(thiscol=cols, mydata) %dopar% {
        name <- names(mydata)[thiscol]
        print(paste('transforming variable ', name))
        mydata[,paste(name, 'sqrt', sep='_')] <<- sqrt(mydata[,thiscol])
            mydata[,paste(name, 'log', sep='_')] <<- log(mydata[,thiscol])
    }
}


n<-10 # I often have 100K-1M rows
mydata <- data.frame(
    a=runif(n,1,100),
    b=runif(n,1,100),
    c=runif(n,1,100),
    d=runif(n,1,100)
    )

ncol(mydata) # 4 columns

transform_features()

ncol(mydata) # if it works, there should be 8

请注意，如果您将％dopar％更改为％do％，则可以正常工作

最佳答案

尝试在 := 中使用data.table运算符，以按引用添加列。您将需要with=FALSE，以便可以在paste的LHS上调用:=。

参见When should I use the := operator in data.table?