我不知道如何在data.table 1.9.2中充分利用GForce
新的优化：GForce。不是将数据分组，而是将组位置传递到sum和mean（gsum和gmean）的分组版本中，然后通过一次连续遍历该列来计算所有组的结果，以提高缓存效率。此外，由于g *函数仅被调用一次，因此我们无需寻找方法来加快每个组重复调用sum或mean的速度。 `
提交以下代码时
DT <- data.table(A=c(NA,NA,1:3), B=c("a",NA,letters[1:3]))
DT[,sum(A,na.rm=TRUE),by= B]
我懂了
B V1
1：1
2：不适用0
3：b 2
4：c 3
当尝试
DT[,sum(A,na.rm=FALSE),by= B]时，我得到了B V1
1：不适用
2：不适用
3：b 2
4：c 3
结果是否可以解释GForce的添加
na.rm = TRUE/FALSE选项的作用？非常感谢！
最佳答案
与na.rm无关。您显示的内容之前也可以正常工作。但是，我明白了您为什么会这么认为。这是同一新闻的其余部分：
Examples where GForce applies now :
DT[,sum(x,na.rm=),by=...] # yes
DT[,list(sum(x,na.rm=),mean(y,na.rm=)),by=...] # yes
DT[,lapply(.SD,sum,na.rm=),by=...] # yes
DT[,list(sum(x),min(y)),by=...] # no. gmin not yet available
GForce is a level 2 optimization. To turn it off: options(datatable.optimize=1)
Reminder: to see the optimizations and other info, set verbose=TRUE
您无需采取任何措施即可受益，这是一种自动优化。
这是一个关于5亿行4列（13GB）的示例。首先创建并说明数据：
$ R
R version 3.0.2 (2013-09-25) -- "Frisbee Sailing"
Copyright (C) 2013 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)
> require(data.table)
Loading required package: data.table
data.table 1.9.2 For help type: help("data.table")
> DT = data.table( grp = sample(1e6,5e8,replace=TRUE),
a = rnorm(1e6),
b = rnorm(1e6),
c = rnorm(1e6))
> tables()
NAME NROW MB COLS KEY
[1,] DT 500,000,000 13352 grp,a,b,c
Total: 13,352MB
> print(DT)
grp a b c
1e+00: 695059 -1.4055192 1.587540028 1.7104991
2e+00: 915263 -0.8239298 -0.513575696 -0.3429516
3e+00: 139937 -0.2202024 0.971816721 1.0597421
4e+00: 651525 1.0026858 -1.157824780 0.3100616
5e+00: 438180 1.1074729 -2.513939427 0.8357155
---
5e+08: 705823 -1.4773420 0.004369457 -0.2867529
5e+08: 716694 -0.6826147 -0.357086020 -0.4044164
5e+08: 217509 0.4939808 -0.012797093 -1.1084564
5e+08: 501760 1.7081212 -1.772721799 -0.7119432
5e+08: 765653 -1.1141456 -1.569578263 0.4947304
现在开始启用GForce优化（默认）。注意这里没有第一个
setkey。当您想以许多不同的方式分组时，这就是通常所说的所谓的冷或特制。> system.time(ans1 <- DT[, lapply(.SD,sum), by=grp])
user system elapsed
47.520 5.651 53.173
> system.time(ans1 <- DT[, lapply(.SD,sum), by=grp])
user system elapsed
47.372 5.676 53.049 # immediate repeat to confirm timing
现在关闭GForce优化（根据NEWS项目），以查看其不同之处：
> options(datatable.optimize=1)
> system.time(ans2 <- DT[, lapply(.SD,sum), by=grp])
user system elapsed
97.274 3.383 100.659
> system.time(ans2 <- DT[, lapply(.SD,sum), by=grp])
user system elapsed
97.199 3.423 100.624 # immediate repeat to confirm timing
最后，确认结果相同：
> identical(ans1,ans2)
[1] TRUE
> print(ans1)
grp a b c
1: 695059 16.791281 13.269647 -10.663118
2: 915263 43.312584 -33.587933 4.490842
3: 139937 3.967393 -10.386636 -3.766019
4: 651525 -4.152362 9.339594 7.740136
5: 438180 4.725874 26.328877 9.063309
---
999996: 372601 -2.087248 -19.936420 21.172860
999997: 13912 18.414226 -1.744378 -7.951381
999998: 150074 -4.031619 8.433173 -22.041731
999999: 385718 11.527876 6.807802 7.405016
1000000: 906246 -13.857315 -23.702011 6.605254
请注意，
data.table会根据组的首次出现保留它们的顺序。要对分组结果进行排序，请使用keyby=而不是by=。要重新打开GForce优化（默认为
Inf，以受益于所有优化）：> options(datatable.optimize=Inf)
另外：如果您不熟悉
lapply(.SD,...)语法，这只是一种按组逐列应用函数的方法。例如，这两行是等效的： DT[, lapply(.SD,sum), by=grp] # (1)
DT[, list(sum(a),sum(b),sum(c)), by=grp] # (2) exactly the same
当您拥有更多列时，第一个（1）会更有用，尤其是与
.SDcols组合使用以控制要应用该功能的列的哪个子集。NEWS项只是试图传达的是，无论使用哪种语法都无关紧要，或者无论是否传递
na.rm，仍将应用GForce优化。就是说您可以在一个调用中混合使用sum()和mean()（语法（2）允许），但是一旦您执行其他操作（例如min()），由于尚未完成；当前只有min和mean具有GForce优化。您可以使用sum查看是否正在应用GForce。用于此计时的机器的详细信息：
$ lscpu
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 8
On-line CPU(s) list: 0-7
Thread(s) per core: 8
Core(s) per socket: 1
Socket(s): 1
NUMA node(s): 1
Vendor ID: GenuineIntel
CPU family: 6
Model: 62
Stepping: 4
CPU MHz: 2494.022
BogoMIPS: 4988.04
Hypervisor vendor: Xen
Virtualization type: full
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 25600K
NUMA node0 CPU(s): 0-7
关于r - 关于data.table 1.9.2中的GForce，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/22137591/