我有一个很大的数据集tPro1（〜500k点）。如下所示，感兴趣的变量是tPro1$Path。
Path Row rm
1 >root>aaaa>bbbb>cccc>dddd>hello 1 TRUE
2 >root>aaaa>bbbb>cccc>dddd>greetings 2 TRUE
3 >root>aaaa>bbbb>cccc>dddd>example 3 TRUE
4 >root>iiii>jjjj>kkkk>llll>mmmm 4 TRUE
5 >root>iiii>jjjj>kkkk>nnnn>testing 5 TRUE
我还有一个较小的数据集，我们称它为
Sub1，大约有十几个数据点。它具有比tPro1更高级别的路径。 [1] ">root>aaaa>bbbb>cccc>dddd"
[2] ">root>aaaa>bbbb>eeee>ffff"
[3] ">root>aaaa>bbbb>gggg>hhhh"
[4] ">root>iiii>jjjj>kkkk>llll>mmmm"
[5] ">root>iiii>jjjj>kkkk>nnnn"
[6] ">root>oooo>pppp>qqqq"
我想做的是将
tPro1中的较长路径与Sub1中的较短路径相关联。 tPro1是Pro0的一些关键信息的副本。输出Pro0将是 Path Short_path
1 >root>aaaa>bbbb>cccc>dddd>hello >root>aaaa>bbbb>cccc>dddd
2 >root>aaaa>bbbb>cccc>dddd>greetings >root>aaaa>bbbb>cccc>dddd
3 >root>aaaa>bbbb>cccc>dddd>example >root>aaaa>bbbb>cccc>dddd
4 >root>iiii>jjjj>kkkk>llll>mmmm >root>iiii>jjjj>kkkk>llll>mmmm
5 >root>iiii>jjjj>kkkk>nnnn>testing >root>iiii>jjjj>kkkk>nnnn
我编写了一个循环，对于
Sub1中的每个路径，grepl的每个tPro1都看是否是子字符串。对于500k * 24点，这将是一个非常低效的过程，因此我尝试了一些优化：注意
tPro1$rm。找到子字符串时，将其设置为false。之后将其删除/跳过以节省毫无意义的重新检查时间。路径可能在
tPro1中出现多次。因此，当为s找到有效的子字符串p时，该算法将遍历数据集并查找s的所有未经检查的实例，而不是继续进行grepl。我的代码是
start.time <- Sys.time()
for (p in Sub1$Path) {
for (i in 1:NROW(tPro1)) {
if (tPro1[i,3]) {
if (grepl(p, tPro1[i,1], fixed=TRUE)) {
# Replace all of subpath
for (j in i:NROW(tPro1)) {
if (tPro1[j,1] == tPro1[i,1]) {
Pro0[tPro1[j,2],2] <- p
tPro1[j,3] <- FALSE
}
}
}
}
}
v <- unlist(tPro1[,3])
tPro1 <- tPro1[v,]
}
end.time <- Sys.time()
time.taken <- end.time - start.time
time.taken
处理整个数据集不会在人的时间上暂停（至少在我的机器上）。出于说明目的，一次进行1000个批次（降低的
tPro1）需要46秒。 2000需要1分钟，3000：1.4分钟。可以做出任何明显的改进，还是仅仅是问题的本质？
编辑：有大约54k唯一的长路径，而且也不是所有的长路径都有相应的短路径（例如，在
tPro1中有>root>strange>path，而在sub1中则没有形式为>root>strange的路径）EDIT2：按照下面的rosscova回答，时间从可能的永恒减少到279.75秒！
最佳答案
sub很小的事实可以极大地减少所需的迭代次数。尽管我仍然在这里使用循环，但是这是比您现有方法更有效的方法。
首先，设置一些测试数据。使用与您指定的尺寸相同的尺寸：
set.seed(123)
sub <- sapply( seq_len( 24 ), function(x) {
paste( sample( c( letters, ">" ),
12,
replace = TRUE,
prob = c( rep( 1, 26 ), 8 ) ),
collapse = "")
} )
head( sub, 3 )
# [1] "puhyz>lymjbj" "rn>yc>fbyrda" "qsmop>byrv>k"
使用
sub创建tPro1，以便找到适当的子字符串。tPro1 <- paste0( sample( sub,
5E5,
replace = TRUE ),
sample( c( ">hello", ">adf", ">;kjadf" ),
5E5,
replace = TRUE )
)
head( tPro1, 3 )
# [1] "bjwhrj>j>>zj>adf" "b>>>zpx>fpvg>hello" ">q>hn>ljsllh>adf"
现在使用while循环。遍历
sub，在每次迭代中获得尽可能多的匹配项。如果到达sub的末尾，或者如果所有值都已填充，则停止迭代。results <- vector( "character", length( tPro1 ) )
i <- 1L
system.time(
while( sum( results == "" ) > 0L && i <= length( sub ) ) {
results[ grep( sub[i], tPro1 ) ] <- sub[i]
i <- i + 1L
}
)
# user system elapsed
# 4.655 0.007 4.661
输出结果。
output <- data.frame( tPro1 = tPro1, results = results, stringsAsFactors = FALSE )
head( output, 3 )
# tPro1 results
# 1 >>ll>ldsjbzzcszcniwm>>em>;kjadf >>ll>ldsjbzzcszcniwm>>em
# 2 ijka>ca>>>ddpmhilphqlt>c>;kjadf ijka>ca>>>ddpmhilphqlt>c
# 3 zpnsniwyletn>qzifzjtrjg>>;kjadf zpnsniwyletn>qzifzjtrjg>
因此，这不是一个完全矢量化的解决方案，但确实可以节省一些时间。对于您使用的相同大小的数据集，我们降低到4.6s。
编辑：愚蠢的我，我正在使用
sub几千个值。在将sub的大小减小到您说的几十个之后，它可以使速度更快！编辑：使用已显示的数据，您可能需要先创建
tPro1和sub向量：tPro1.vec <- tPro1$Path
sub <- Sub1$Path
results <- vector( "character", length( tPro1.vec ) )
i <- 1L
while( sum( results == "" ) > 0L && i <= length( sub ) ) {
results[ grep( sub[i], tPro1.vec ) ] <- sub[i]
i <- i + 1L
}