我有一个程序,它反复加载以RRds
格式存储的较大数据集。下面是一个愚蠢的例子,它具有所有的显著特征:
# make and save the data
big_data <- matrix(rnorm(1e6^2), 1e6)
saveRDS(big_data, file = "big_data.Rds")
# write a program that uses the data
big_data <- readRDS("big_data.Rds")
BIGGER_data <- big_data+rnorm(1)
print("hooray!")
# save this in a text file called `my_program.R`
# run this program a bunch
for (i = 1:1000){
system("Rscript my_program.R")
}
瓶颈是加载数据。但是如果我有一个单独的进程,把数据保存在内存中呢?
可能是这样的:
# write a program to hold the data in memory
big_data <- readRDS("big_data.Rds")
# save this as `holder.R` open a terminal and do
Rscript holder.R
现在有一个进程正在某个地方运行,我的数据在内存中。我怎样才能从另一个R会话中得到它?(我假设这比加载要快——但这是正确的吗?)
可能是这样的:
# write another program:
big_data <- get_big_data_from_holder()
BIGGER_data <- big_data+1
print("yahoo!")
# save this as `my_improved_program.R`
# now do the following:
for (i = 1:1000){
system("Rscript my_improved_program.R")
}
所以我想我的问题是这个函数看起来像什么?有可能这样做吗?实用吗?
Backstory:我试图解决在R与keras/tensorflow的接口中出现的内存泄漏问题,我已经描述过了here。解决方法是让操作系统清除TF会话遗留下来的所有问题,这样我就可以一个接一个地运行TF会话,而不会让我的计算机慢下来。
编辑:也许我可以用
get_big_data_from_holder()
系统调用来完成这个任务?从概念上讲,我可以想象我会克隆运行clone()
的进程,然后在程序中运行依赖于加载的数据的所有命令。但我不知道怎么做。 最佳答案
您还可以通过关闭压缩来提高保存和加载数据的性能:
saveRDS(..., compress = FALSE)
关于r - 有没有办法在Linux上将R对象转移到单独的R session ?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/52414903/