r - 内存有效创建稀疏矩阵

我有一个50000个字符串向量的列表，由6000个唯一字符串的各种组合组成。
目标：我想将它们转换为“相对频率”（table(x)/length(x)）并将它们存储在
稀疏矩阵。低内存消耗比速度更重要。目前内存是瓶颈。
（即使源数据大约有50 MB，目标格式的数据~10MB->转换似乎效率低下，…）
生成示例数据

dims <- c(50000, 6000)
nms <- paste0("A", 1:dims[2])
lengths <- sample(5:30, dims[1], replace = T)
data <- lapply(lengths, sample, x = nms, replace = T)

可能的尝试：
1）SAPPLY（）与Simplify to Sparse Matrix？

library(Matrix)
sparseRow <- function(stringVec){
  relFreq <- c(table(factor(stringVec, levels = nms)) / length(stringVec))
  Matrix(relFreq, 1, dims[2], sparse = TRUE)
}
sparseRows <- sapply(data[1:5], sparseRow)
sparseMat <- do.call(rbind, sparseRows)

问题：我的瓶颈似乎是sparseRows因为行没有直接组合到稀疏矩阵中。
（如果我在完整的样本上运行上面的代码，我会得到一个Error: cannot allocate vector of size 194 Kb Error during wrapup: memory exhausted (limit reached?)—我的硬件有8GB的RAM。）
显然，在合并行而不是填充行之前，创建行列表会消耗更多的内存。
直接稀疏矩阵。
-->so using（s/l）apply is not memory friendly in my case？在我的情况下，使用（s/l）apply不是内存友好型的吗？

object.size(sparseRows)
object.size(sparseMat)

2）肮脏的工作区（？）
我的目标似乎是创建一个空的稀疏矩阵并按行填充它。下面是一个肮脏的方法
在我的硬件上）。

indxs <- lapply(data, function(data) sapply(data, function(x) which(x == nms),
   USE.NAMES = FALSE))
relFreq <- lapply(indxs, function(idx) table(idx)/length(idx))

mm <- Matrix(0, nrow = dims[1], ncol = dims[2])
for(idx in 1:dims[1]){
  mm[idx, as.numeric(names(relFreq[[idx]]))] <- as.numeric(relFreq[[idx]])
}
#sapply(1:dims[1], function(idx) mm[idx,
#     as.numeric(names(relFreq[[idx]]))] <<- as.numeric(relFreq[[idx]]))

我想问一下，是否有一种更优雅/更有效的方法可以用尽可能少的RAM来实现这一点。

最佳答案

我将转换为data.table然后进行必要的计算：

ld <- lengths(data)
D <- data.table(val = unlist(data),
                id = rep(1:length(data), times = ld),
                Ntotal = rep(ld, times = ld))
D <- D[, .N, keyby = .(id, val, Ntotal)]
D[, freq := N/Ntotal]
ii <- data.table(val = nms, ind = seq_along(nms))
D <- ii[D, on = 'val']
sp <- with(D, sparseMatrix(i = id, j = ind, x = freq,
                           dims = c(max(id), length(nms))))

n=100的基准

data2 <- data[1:100]
Unit: milliseconds
      expr        min         lq       mean    median        uq        max neval cld
        OP 102.150200 106.235148 113.117848 109.98310 116.79734 142.859832    10  b
  F. Privé 122.314496 123.804442 149.999595 126.76936 164.97166 233.034447    10   c
     minem   5.617658   5.827209   6.307891   6.10946   6.15137   9.199257    10 a
 user20650  11.012509  11.752350  13.580099  12.59034  14.31870  21.961725    10 a

所有数据的基准
让我们对3个最快的函数进行基准测试，因为它们的其余部分（op、user20650_v1和f.priv_）将减慢所有数据的速度。

user20650_v2 <- function(x) {
  dt2 = data.table(lst = rep(1:length(x), lengths(x)),
                   V1 = unlist(x))
  dt2[, V1 := factor(V1, levels = nms)]
  x3 = xtabs(~ lst + V1, data = dt2, sparse = TRUE)
  x3/rowSums(x3)
}
user20650_v3 <- function(x) {
  x3 = xtabs(~ rep(1:length(x), lengths(x)) + factor(unlist(x), levels = nms),
             sparse = TRUE)
  x3/rowSums(x3)
}
minem <- function(x) {
  ld <- lengths(x)
  D <- data.table(val = unlist(x), id = rep(1:length(x), times = ld),
                  Ntotal = rep(ld, times = ld))
  D <- D[, .N, keyby = .(id, val, Ntotal)]
  D[, freq := N/Ntotal]
  ii <- data.table(val = nms, ind = seq_along(nms))
  D <- ii[D, on = 'val']
  sparseMatrix(i = D$id, j = D$ind, x = D$freq,
               dims = c(max(D$id), length(nms)))
}

比较minem和user20650_v3的结果：

x1 <- minem(data)
x2 <- user20650_v3(data)
all.equal(x1, x2)
# [1] "Component “Dimnames”: names for current but not for target"
# [2] "Component “Dimnames”: Component 1: target is NULL, current is character"
# [3] "Component “Dimnames”: Component 2: target is NULL, current is character"
# [4] "names for target but not for current"

x2有其他名称。删除它们：

dimnames(x2) <- names(x2@x) <- NULL
all.equal(x1, x2)
# [1] TRUE # all equal

时间安排：

x <- bench::mark(minem(data),
            user20650_v2(data),
            user20650_v3(data),
            iterations = 5, check = F)
as.data.table(x)[, 1:10]

#            expression   min  mean median   max  itr/sec mem_alloc n_gc n_itr total_time
# 1:        minem(data) 324ms 345ms  352ms 371ms 2.896187     141MB    7     5      1.73s
# 2: user20650_v2(data) 604ms 648ms  624ms 759ms 1.544380     222MB   10     5      3.24s
# 3: user20650_v3(data) 587ms 607ms  605ms 633ms 1.646977     209MB   10     5      3.04s