我有一个大型数据集,5000个变量和300万行。我想检查哪些列包含日期。我正在使用data.table并使用fread读取数据。为了知道哪些列包含日期,我运行以下命令:

my[, lapply(.SD,function(xx)
  length(grep("^\\d\\d?/\\d\\d?/\\d{4}$",xx))>0 ) ]

或与any(grepl())相同

但这很慢。

有什么办法可以更快地做到这一点?也许强迫grep在第一次遇到日期时停止?我认为(命令行)grep可以选择执行以下操作:
grep -m 1

但是我认为它在R中不可用。

任何想法?也欢迎使用基本R或其他软件包的解决方案。

我也只能使用data.table的几行,但是某些列的值可能与NA几乎没有差别,并且有可能会丢失它们。

带有NA的非常简单的示例:
library(data.table)
set.seed(1)
siz <- 10000000
my <- data.table(
  AA=c(rep(NA,siz-1),"11/11/2001"),
  BB=sample(c("wrong", "11/11/2001"),siz, prob=c(1000000,1), replace=T),
  CC=sample(siz),
  DD=rep("11/11/2001",siz),
  EE=rep("HELLO", siz)
 )

我已经看到有一个选项perl = FALSE,但是我不知道它是否允许我添加额外的参数。

或者类似地,我想知道应该是日期的文件中是否有奇怪的符号。我可以在每列上运行grep,但是能够在测试正确后立即停止,而无需继续到列末尾,那将是很棒的。

也许带一些额外的包装,例如stringi?

最佳答案

一种选择是仅检查第一行(假设如果存在“日期”类,除非第一行缺少值,否则它将选择它)

my[1][, grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))]

除上述内容外,如@Frank所述,我们可以通过指定character来仅检查.SDcols类列的子集,而不是整个列
j1 <- sapply(my, is.character)
my[, lapply(.SD, function(x)
            length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1),
              .SDcols = j1]

基准测试
set.seed(24)
dat <- data.table(col1 = rnorm(1e6), col2 = "05/05/1942",
      col3 = rnorm(1e6))

system.time(res <- dat[, lapply(.SD, function(x)
                length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1)])
# user  system elapsed
#  6.33    0.01    6.35

system.time(res2 <- dat[1][, grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))])
#   user  system elapsed
#     0       0       0


system.time({
  j1 <- sapply(dat, is.character)
  res3 <- dat[, lapply(.SD, function(x)
     length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1), .SDcols = j1]
  res3 <- names(dat) %in% names(res3)
     })
 #  user  system elapsed
 #  0.43    0.00    0.44



all.equal(unlist(res), res2, check.attributes = FALSE)
#[1] TRUE
all.equal(unlist(res), res3, check.attributes=FALSE)
#[1] TRUE

如果有很多NA,那么我们可以在第一行中检查所有非NA元素
set.seed(24)
dat <- data.table(col1 = sample(c(NA, 1:10), 1e6, replace=TRUE),
     col2 = c(NA, "05/05/1942"),
     col3 = sample(c(NA, 1:5), 1e6, replace=TRUE))
dt1 <- head(dat, 20)
#Or just a sample of 20 rows from the dataset
#dt1 <- dat[sample(1:.N, 20, replace=TRUE)]
dt1[dt1[, which(!Reduce(`|`, lapply(.SD, is.na)))[1]]
     ][,  grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))]

10-05 21:09
查看更多