我有一个大型数据集,5000个变量和300万行。我想检查哪些列包含日期。我正在使用data.table并使用fread
读取数据。为了知道哪些列包含日期,我运行以下命令:
my[, lapply(.SD,function(xx)
length(grep("^\\d\\d?/\\d\\d?/\\d{4}$",xx))>0 ) ]
或与
any(grepl())
相同但这很慢。
有什么办法可以更快地做到这一点?也许强迫
grep
在第一次遇到日期时停止?我认为(命令行)grep可以选择执行以下操作:grep -m 1
但是我认为它在R中不可用。
任何想法?也欢迎使用基本R或其他软件包的解决方案。
我也只能使用data.table的几行,但是某些列的值可能与NA几乎没有差别,并且有可能会丢失它们。
带有NA的非常简单的示例:
library(data.table)
set.seed(1)
siz <- 10000000
my <- data.table(
AA=c(rep(NA,siz-1),"11/11/2001"),
BB=sample(c("wrong", "11/11/2001"),siz, prob=c(1000000,1), replace=T),
CC=sample(siz),
DD=rep("11/11/2001",siz),
EE=rep("HELLO", siz)
)
我已经看到有一个选项perl = FALSE,但是我不知道它是否允许我添加额外的参数。
或者类似地,我想知道应该是日期的文件中是否有奇怪的符号。我可以在每列上运行grep,但是能够在测试正确后立即停止,而无需继续到列末尾,那将是很棒的。
也许带一些额外的包装,例如stringi?
最佳答案
一种选择是仅检查第一行(假设如果存在“日期”类,除非第一行缺少值,否则它将选择它)
my[1][, grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))]
除上述内容外,如@Frank所述,我们可以通过指定
character
来仅检查.SDcols
类列的子集,而不是整个列j1 <- sapply(my, is.character)
my[, lapply(.SD, function(x)
length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1),
.SDcols = j1]
基准测试
set.seed(24)
dat <- data.table(col1 = rnorm(1e6), col2 = "05/05/1942",
col3 = rnorm(1e6))
system.time(res <- dat[, lapply(.SD, function(x)
length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1)])
# user system elapsed
# 6.33 0.01 6.35
system.time(res2 <- dat[1][, grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))])
# user system elapsed
# 0 0 0
system.time({
j1 <- sapply(dat, is.character)
res3 <- dat[, lapply(.SD, function(x)
length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1), .SDcols = j1]
res3 <- names(dat) %in% names(res3)
})
# user system elapsed
# 0.43 0.00 0.44
all.equal(unlist(res), res2, check.attributes = FALSE)
#[1] TRUE
all.equal(unlist(res), res3, check.attributes=FALSE)
#[1] TRUE
如果有很多NA,那么我们可以在第一行中检查所有非NA元素
set.seed(24)
dat <- data.table(col1 = sample(c(NA, 1:10), 1e6, replace=TRUE),
col2 = c(NA, "05/05/1942"),
col3 = sample(c(NA, 1:5), 1e6, replace=TRUE))
dt1 <- head(dat, 20)
#Or just a sample of 20 rows from the dataset
#dt1 <- dat[sample(1:.N, 20, replace=TRUE)]
dt1[dt1[, which(!Reduce(`|`, lapply(.SD, is.na)))[1]]
][, grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))]