我在 R 中有一个大数据框，我想根据现有列创建一些新列。但是，对于每一行，新值还取决于其他一些行。
这是一些虚拟数据
colnames <- c('date', 'docnr', 'clientid', 'values')
docnr <- c(1,2,3,4,5,6)
dates <- c('2017-01-01', '2017-02-01', '2017-03-01', '2017-04-01','2017-01-05', '2017-02-05')
clients <- c(1,1,1,1,2,2)
values <- c(10,14,4,7,9,19)
df <- data.frame(cbind(dates, docnr, clients, values))
names(df) <- colnames
df$date <- as.Date(df$date, format = "%Y-%m-%d")
df
date docnr clientid values
1 2017-01-01 1 1 10
2 2017-02-01 2 1 14
3 2017-03-01 3 1 4
4 2017-04-01 4 1 7
5 2017-01-05 5 2 9
6 2017-02-05 6 2 19
我想要做的是对每一行(由 docnr 唯一标识)获取日期和客户端 ID，并找到具有相同客户端 ID 和更早日期的所有其他行。
然后，我想从这个子集中计算一些东西。例如，我想要这个子集中的总行数，以及这个子集中所有值的总和。
所以对于这个示例数据，我希望:
date docnr clientid values counts totals
1 2017-01-01 1 1 10 0 0
2 2017-02-01 2 1 14 1 10
3 2017-03-01 3 1 4 2 24
4 2017-04-01 4 1 7 3 28
5 2017-01-05 5 2 9 0 0
6 2017-02-05 6 2 19 1 9
目前，我使用 for 循环:
counts <- numeric(0)
totals <- numeric(0)
for (i in 1:nrow(df)) {
tmp <- df[df$date< df$date[i] & df$clientid== df$clientid[i],
c( "date", "docnr","value")]
cnt <- nrow(tmp)
tot <- sum(tmp$value)
counts[i] <- res
totals[i] <- tot
}
df$counts <- counts
df$totals <- totals
对于 700k 行的数据帧(尚未运行完成)，此循环显然非常慢。
doSNOW 的并行实现似乎没有更好的扩展性。我已经尝试使用带有
sqldf 的 sql 查询，但是子查询一次只能返回 1 个值，这意味着要为我想要定义的每个新列运行查询(并且我想稍后添加更多衍生列) .我遇到了一个带有 SQL 对象 ( Is it possible to get multiple values from a subquery? ) 的解决方案，但对象在 R 的 sqldf 中不起作用。使用连接不起作用，因为第二个查询需要从第一个查询中获取信息。
我刚开始使用 R(并且对 sql 也不是很熟悉)，所以如果有人知道一种更有效的方法来做到这一点，我将非常感激。
最佳答案
这是使用 ave 进行分组的两行基本 R 代码。
# get counts
df$counts <- ave(df$docnr, df$clientid, FUN=seq_along) - 1L
# get lagged cumulative sum
df$totals <- ave(df$values, df$clientid, FUN=function(x) c(0, head(cumsum(x), -1)))
这返回
df
date docnr clientid values counts totals
1 2017-01-01 1 1 10 0 0
2 2017-02-01 2 1 14 1 10
3 2017-03-01 3 1 4 2 24
4 2017-04-01 4 1 7 3 28
5 2017-01-05 5 2 9 0 0
6 2017-02-05 6 2 19 1 9
我怀疑上面的代码对于您描述的数据执行得足够快。然而，
data.table 是一个推荐的包，用于处理可能有数十亿行的数据。 data.table 中上述代码的类比是library(data.table)
setDT(df)[, c("counts", "totals") := .(seq_len(.N) - 1L, shift(cumsum(values), fill=0)),
by=clientid]
其中
seq_len(.N) 填充了seq_along 的作用，shift 填充了前面代码中c(0, head(cumsum(x), -1)) 的作用。这将返回具有与上述相同值的 data.table。
df
date docnr clientid values counts totals
1: 2017-01-01 1 1 10 0 0
2: 2017-02-01 2 1 14 1 10
3: 2017-03-01 3 1 4 2 24
4: 2017-04-01 4 1 7 3 28
5: 2017-01-05 5 2 9 0 0
6: 2017-02-05 6 2 19 1 9
数据
df <-
structure(list(date = structure(c(17167, 17198, 17226, 17257,
17171, 17202), class = "Date"), docnr = c(1, 2, 3, 4, 5, 6),
clientid = c(1, 1, 1, 1, 2, 2), values = c(10, 14, 4, 7,
9, 19)), .Names = c("date", "docnr", "clientid", "values"
), row.names = c(NA, -6L), class = "data.frame")
关于r - 来自相关子集的大数据框中每一行的多个新聚合，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/46568047/