r - 将多个csv读取到一个数据帧的更快方法？

无论如何，是否可以加快R中的以下过程？

theFiles <- list.files(path="./lca_rs75_summary_logs", full.names=TRUE, pattern="*.summarylog")

listOfDataFrames <- NULL
masterDataFrame <- NULL

for (i in 1:length(theFiles)) {
    tempDataFrame <- read.csv(theFiles[i], sep="\t", header=TRUE)
    #Dropping some unnecessary row
    toBeRemoved <- which(tempDataFrame$Name == "")
    tempDataFrame <- tempDataFrame[-toBeRemoved,]
    #Now stack the data frame on the master data frame
    masterDataFrame <- rbind(masterDataFrame, tempDataFrame)
}

基本上，我正在读取目录中的多个csv文件。我想通过堆叠行将所有csv文件合并到一个巨型数据帧。随着masterDataFrame大小的增加，循环似乎需要更长的时间才能运行。我在Linux群集上执行此操作。

最佳答案

用data.table::fread更新了答案。

require(data.table)
out = rbindlist(lapply(theFiles, function(file) {
         dt = fread(file)
         # further processing/filtering
      }))

fread()自动检测 header ，文件分隔符，列类，默认情况下不将字符串转换为因数。.处理嵌入的引号，速度非常快等。有关更多信息，请参见?fread。

查看历史以获取旧答案。