例如(不确定最有代表性的例子):
N <- 1e6
d1 <- data.frame(x=sample(N,N), y1=rnorm(N))
d2 <- data.frame(x=sample(N,N), y2=rnorm(N))
到目前为止，这是我得到的:
d <- merge(d1,d2)
# 7.6 sec
library(plyr)
d <- join(d1,d2)
# 2.9 sec
library(data.table)
dt1 <- data.table(d1, key="x")
dt2 <- data.table(d2, key="x")
d <- data.frame( dt1[dt2,list(x,y1,y2=dt2$y2)] )
# 4.9 sec
library(sqldf)
sqldf()
sqldf("create index ix1 on d1(x)")
sqldf("create index ix2 on d2(x)")
d <- sqldf("select * from d1 inner join d2 on d1.x=d2.x")
sqldf()
# 17.4 sec
最佳答案
当第二个数据帧中第一个数据中的每个键值都有唯一的键时，匹配方法就会起作用。如果第二个数据帧中有重复项，则匹配和合并方法不相同。当然，由于匹配程度不高，因此匹配速度更快。特别是，它永远不会寻找重复的密钥。 (代码后续)
DF1 = data.frame(a = c(1, 1, 2, 2), b = 1:4)
DF2 = data.frame(b = c(1, 2, 3, 3, 4), c = letters[1:5])
merge(DF1, DF2)
b a c
1 1 1 a
2 2 1 b
3 3 2 c
4 3 2 d
5 4 2 e
DF1$c = DF2$c[match(DF1$b, DF2$b)]
DF1$c
[1] a b c e
Levels: a b c d e
> DF1
a b c
1 1 1 a
2 1 2 b
3 2 3 c
4 2 4 e
在问题中发布的sqldf代码中，可能看起来在两个表上都使用了索引，但实际上，它们被放置在运行sql select之前被覆盖的表上，部分说明了原因它是如此缓慢。 sqldf的想法是R session 中的数据帧构成数据库，而不是sqlite中的表。因此，每次代码引用一个不合格的表名时，它将在R工作区中查找它-而不是在sqlite的主数据库中。因此，显示的select语句将工作区中的d1和d2读入sqlite的主数据库，从而破坏了带有索引的地方。结果，它执行没有索引的联接。如果要使用sqlite主数据库中的d1和d2版本，则必须将它们称为main.d1和main.d2，而不是d1和d2。另外，如果您试图使其尽快运行，请注意，简单的联接无法利用两个表上的索引，因此可以节省创建索引之一的时间。在下面的代码中，我们说明了这些要点。
值得一提的是，精确的计算可以对最快的软件包产生巨大的影响。例如，我们在下面进行合并和汇总。我们看到，两者的结果几乎相反。在第一个示例中，从最快到最慢，我们得到了:data.table，plyr，merge和sqldf，而在第二个示例中，sqldf，aggregate，data.table和plyr几乎与第一个相反。在第一个示例中，sqldf比data.table慢3倍，在第二个示例中，它比plyr快200倍，比data.table快100倍。下面我们显示输入代码，合并的输出时序和聚合的输出时序。还值得一提的是，sqldf基于数据库，因此可以处理大于R可以处理的对象(如果使用sqldf的dbname参数)，而其他方法则仅限于在主内存中进行处理。我们也用sqlite说明了sqldf，但它也支持H2和PostgreSQL数据库。
library(plyr)
library(data.table)
library(sqldf)
set.seed(123)
N <- 1e5
d1 <- data.frame(x=sample(N,N), y1=rnorm(N))
d2 <- data.frame(x=sample(N,N), y2=rnorm(N))
g1 <- sample(1:1000, N, replace = TRUE)
g2<- sample(1:1000, N, replace = TRUE)
d <- data.frame(d1, g1, g2)
library(rbenchmark)
benchmark(replications = 1, order = "elapsed",
merge = merge(d1, d2),
plyr = join(d1, d2),
data.table = {
dt1 <- data.table(d1, key = "x")
dt2 <- data.table(d2, key = "x")
data.frame( dt1[dt2,list(x,y1,y2=dt2$y2)] )
},
sqldf = sqldf(c("create index ix1 on d1(x)",
"select * from main.d1 join d2 using(x)"))
)
set.seed(123)
N <- 1e5
g1 <- sample(1:1000, N, replace = TRUE)
g2<- sample(1:1000, N, replace = TRUE)
d <- data.frame(x=sample(N,N), y=rnorm(N), g1, g2)
benchmark(replications = 1, order = "elapsed",
aggregate = aggregate(d[c("x", "y")], d[c("g1", "g2")], mean),
data.table = {
dt <- data.table(d, key = "g1,g2")
dt[, colMeans(cbind(x, y)), by = "g1,g2"]
},
plyr = ddply(d, .(g1, g2), summarise, avx = mean(x), avy=mean(y)),
sqldf = sqldf(c("create index ix on d(g1, g2)",
"select g1, g2, avg(x), avg(y) from main.d group by g1, g2"))
)
比较合并计算的两个基准调用的输出为:
Joining by: x
test replications elapsed relative user.self sys.self user.child sys.child
3 data.table 1 0.34 1.000000 0.31 0.01 NA NA
2 plyr 1 0.44 1.294118 0.39 0.02 NA NA
1 merge 1 1.17 3.441176 1.10 0.04 NA NA
4 sqldf 1 3.34 9.823529 3.24 0.04 NA NA
比较汇总计算的基准调用的输出为:
test replications elapsed relative user.self sys.self user.child sys.child
4 sqldf 1 2.81 1.000000 2.73 0.02 NA NA
1 aggregate 1 14.89 5.298932 14.89 0.00 NA NA
2 data.table 1 132.46 47.138790 131.70 0.08 NA NA
3 plyr 1 212.69 75.690391 211.57 0.56 NA NA
关于performance - 在R中合并/联接data.frames最快的方法是什么？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/4322219/