我正在使用8 GB RAM的Windows 8操作系统。我有一个 180万行x 270列的data.frame，必须在其中执行glm。 (登录/任何其他分类)
我尝试使用ff和bigglm包来处理数据。
但是我仍然遇到错误“Error: cannot allocate vector of size 81.5 Gb”的问题。
因此，我将行数减少到10，并尝试在ffdf类的对象上执行bigglm的步骤。但是错误仍然存在。
谁能为我提出解决建立这么多行和很多列的分类模型的解决方案？**EDITS**:
我在运行代码时使用其他任何程序，但不是，而是。
在我运行代码之前，系统上的RAM是60％可用的，这是因为R程序。当我终止R时，RAM释放了80％。
我正在添加，其中一些是，我正在使用这些列，如评论员所建议的那样，可以进行复制。
OPEN_FLG是DV ，其他是IDVstr(x[1:10,])
'data.frame': 10 obs. of 270 variables:
$ OPEN_FLG : Factor w/ 2 levels "N","Y": 1 1 1 1 1 1 1 1 1 1
$ new_list_id : Factor w/ 9 levels "0","3","5","6",..: 1 1 1 1 1 1 1 1 1 1
$ new_mailing_id : Factor w/ 85 levels "1398","1407",..: 1 1 1 1 1 1 1 1 1 1
$ NUM_OF_ADULTS_IN_HHLD : num 3 2 6 3 3 3 3 6 4 4
$ NUMBER_OF_CHLDRN_18_OR_LESS: Factor w/ 9 levels "","0","1","2",..: 2 2 4 7 3 5 3 4 2 5
$ OCCUP_DETAIL : Factor w/ 49 levels "","00","01","02",..: 2 2 2 2 2 2 2 21 2 2
$ OCCUP_MIX_PCT : num 0 0 0 0 0 0 0 0 0 0
$ PCT_CHLDRN : int 28 37 32 23 36 18 40 22 45 21
$ PCT_DEROG_TRADES : num 41.9 38 62.8 2.9 16.9 ...
$ PCT_HOUSEHOLDS_BLACK : int 6 71 2 1 0 4 3 61 0 13
$ PCT_OWNER_OCCUPIED : int 91 66 63 38 86 16 79 19 93 22
$ PCT_RENTER_OCCUPIED : int 8 34 36 61 14 83 20 80 7 77
$ PCT_TRADES_NOT_DEROG : num 53.7 55 22.2 92.3 75.9 ...
$ PCT_WHITE : int 69 28 94 84 96 79 91 29 97 79
$ POSTAL_CD : Factor w/ 104568 levels "010011203","010011630",..: 23789 45173 32818 6260 88326 29954 28846 28998 52062 47577
$ PRES_OF_CHLDRN_0_3 : Factor w/ 4 levels "","N","U","Y": 2 2 3 4 2 4 2 4 2 4
$ PRES_OF_CHLDRN_10_12 : Factor w/ 4 levels "","N","U","Y": 2 2 4 3 3 2 3 2 2 3
[list output truncated]
这是我正在使用的示例。require(biglm)
mymodel <- bigglm(OPEN_FLG ~ new_list_id+NUM_OF_ADULTS_IN_HHLD+OCCUP_MIX_PCT, data = x)
require(ff)
x$id <- ffseq_len(nrow(x))
xex <- expand.ffgrid(x$id, ff(1:100))
colnames(xex) <- c("id","explosion.nr")
xex <- merge(xex, x, by.x="id", by.y="id", all.x=TRUE, all.y=FALSE)
mymodel <- bigglm(OPEN_FLG ~ new_list_id+NUM_OF_ADULTS_IN_HHLD+OCCUP_MIX_PCT, data = xex)
问题是两次我都遇到相同的错误“Error: cannot allocate vector of size 81.5 Gb”。
请让我知道这是否足够，或者我应该包括有关该问题的更多详细信息。
最佳答案
我的印象是您没有使用ffbase::bigglm.ffdf，但是您想使用。也就是说，以下内容会将所有数据放入RAM中，并使用biglm::bigglm.function，这不是您想要的。
require(biglm)
mymodel <- bigglm(OPEN_FLG ~ new_list_id+NUM_OF_ADULTS_IN_HHLD+OCCUP_MIX_PCT, data = x)
您需要使用ffbase::bigglm.ffdf，它可以在ffdf上逐块工作。因此，加载ffbase软件包，该软件包将导出bigglm.ffdf。
如果使用ffbase，则可以使用以下内容:
require(ffbase)
mymodeldataset <- xex[c("OPEN_FLG","new_list_id","NUM_OF_ADULTS_IN_HHLD","OCCUP_MIX_PCT")]
mymodeldataset$OPEN_FLG <- with(mymodeldataset["OPEN_FLG"], ifelse(OPEN_FLG == "Y", TRUE, FALSE))
mymodel <- bigglm(OPEN_FLG ~ new_list_id+NUM_OF_ADULTS_IN_HHLD+OCCUP_MIX_PCT, data = mymodeldataset, family=binomial())
解释:
由于您不局限于模型中使用的列，因此您将不需要的xex ffdf的所有列存储在RAM中。您是在因子响应上使用高斯模型，很奇怪吗？我相信您正在尝试进行逻辑回归，因此使用适当的家庭论据吗？它将使用ffbase::bigglm.ffdf而不是biglm::bigglm.function。
如果那行不通-我怀疑，这是因为RAM中还有其他您不知道的东西。那样的话。
require(ffbase)
mymodeldataset <- xex[c("OPEN_FLG","new_list_id","NUM_OF_ADULTS_IN_HHLD","OCCUP_MIX_PCT")]
mymodeldataset$OPEN_FLG <- with(mymodeldataset["OPEN_FLG"], ifelse(OPEN_FLG == "Y", TRUE, FALSE))
ffsave(mymodeldataset, file = "mymodeldataset")
## Open R again
require(ffbase)
require(biglm)
ffload("mymodeldataset")
mymodel <- bigglm(OPEN_FLG ~ new_list_id+NUM_OF_ADULTS_IN_HHLD+OCCUP_MIX_PCT, data = mymodeldataset, family=binomial())
然后离开。
关于r - 在R中建模非常大的数据集(180万行x 270列)，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/17295423/