我有八个日志文件,格式如下:
日志01:

[Tue Feb 24 07:39:37 2015] *** MARK ***
[Tue Feb 24 07:40:38 2015] *** MARK ***
[Wed Feb 25 17:13:33 2015] *** MARK ***
[Wed Feb 25 17:14:09 2015] *** MARK ***
[Wed Feb 25 17:16:46 2015] *** MARK ***
[Wed Feb 25 17:17:48 2015] *** MARK ***
[Wed Feb 25 17:22:31 2015] *** MARK ***
[Wed Feb 25 19:10:36 2015] *** MARK ***
[Wed Feb 25 19:10:52 2015] *** MARK ***
[Wed Feb 25 19:11:08 2015] *** MARK ***
[Wed Feb 25 19:11:34 2015] *** MARK ***
[Wed Feb 25 19:12:00 2015] *** MARK ***
[Wed Feb 25 19:12:26 2015] *** MARK ***
[Wed Feb 25 19:13:17 2015] *** MARK ***
[Wed Feb 25 19:13:33 2015] *** MARK ***
[Wed Feb 25 19:15:05 2015] *** MARK ***
[Wed Feb 25 19:37:53 2015] *** MARK ***
[Wed Feb 25 19:38:19 2015] *** MARK ***
[Wed Feb 25 19:38:35 2015] *** MARK ***
[Wed Feb 25 23:08:47 2015] *** MARK ***
[Wed Feb 25 23:09:28 2015] *** MARK ***
[Wed Feb 25 23:11:55 2015] *** MARK ***
[Wed Feb 25 23:12:21 2015] *** MARK ***
[Wed Feb 25 23:12:52 2015] *** MARK ***
[Wed Feb 25 23:13:08 2015] *** MARK ***
...

日志02:
[Wed Feb 25 07:01:39 2015] *** MARK ***
[Wed Feb 25 17:13:49 2015] *** MARK ***
[Wed Feb 25 17:15:20 2015] *** MARK ***
[Wed Feb 25 17:16:47 2015] *** MARK ***
[Wed Feb 25 17:17:38 2015] *** MARK ***
[Wed Feb 25 17:19:56 2015] *** MARK ***
[Wed Feb 25 17:22:53 2015] *** MARK ***
[Wed Feb 25 19:10:47 2015] *** MARK ***
[Wed Feb 25 19:11:13 2015] *** MARK ***
[Wed Feb 25 19:11:34 2015] *** MARK ***
[Wed Feb 25 19:11:50 2015] *** MARK ***
[Wed Feb 25 19:12:11 2015] *** MARK ***
[Wed Feb 25 19:12:37 2015] *** MARK ***
[Wed Feb 25 19:12:53 2015] *** MARK ***
[Wed Feb 25 19:13:14 2015] *** MARK ***
[Wed Feb 25 19:13:40 2015] *** MARK ***
[Wed Feb 25 19:14:06 2015] *** MARK ***
[Wed Feb 25 19:14:22 2015] *** MARK ***
[Wed Feb 25 19:14:38 2015] *** MARK ***
[Wed Feb 25 19:38:30 2015] *** MARK ***
[Wed Feb 25 21:17:08 2015] *** MARK ***
[Wed Feb 25 23:08:56 2015] *** MARK ***
[Wed Feb 25 23:10:37 2015] *** MARK ***
[Wed Feb 25 23:11:08 2015] *** MARK ***
[Wed Feb 25 23:11:24 2015] *** MARK ***
[Wed Feb 25 23:12:20 2015] *** MARK ***
[Wed Feb 25 23:12:46 2015] *** MARK ***
...

每个日志文件都是由同一程序的一个实例读取不同的传感器生成的。如果传感器检测到问题,则创建日志条目。如果每个传感器在大约一分钟内检测到问题,则表示发生了全局问题。例如:
log01中的日志条目[Tue Feb 24 07:39:37 2015] *** MARK ***[Tue Feb 24 07:40:38 2015] *** MARK ***与log02中的任何内容都不对应,因此这不是全局问题,可以忽略。log02中的日志项[Wed Feb 25 07:01:39 2015] *** MARK ***[Wed Feb 25 21:17:08 2015] *** MARK ***也可以忽略。
但是,log01中的条目[Wed Feb 25 19:10:36 2015] *** MARK ***和log02中的条目[Wed Feb 25 19:10:47 2015] *** MARK ***都在一分钟内,因此这表明存在一个全局问题,该问题会一直持续到log01中的条目[Wed Feb 25 19:15:05 2015] *** MARK ***和log02中的条目[Wed Feb 25 19:14:38 2015] *** MARK ***为止。所以我可以得出结论,从2月25日19:10到19:15左右,出了点问题。
我在寻找如何解决这个问题的建议和技巧,最好是使用unix实用程序。

最佳答案

我认为优雅的方法是使用perl读取所有文件并创建一个列表数组。第一个数组将按时间四舍五入到最接近的分钟进行索引,如果您从1读取数据,则在给定时间将file01推送到列表中;如果您从2读取数据,则推送到file02列表中。最后,您将遍历第一个数组,查找长度大于1的列表。标签可能会有帮助。
如果您不喜欢Perl,可以将一些更笨拙的东西放在一起,比如这样。
第一步:选择一个比你想要的最早时间早的开始时间。
步骤2:解析每个文件,每分钟输出一行输入数据。该行是0还是1取决于是否有问题。每分钟一行确保所有文件在所有8个文件中都与分钟匹配。
步骤3:使用Perl将所有8个输出文件组合在一起,如下所示:

paste -d, file{1..8}

1,0,1,1,1,0,1,1
1,1,1,1,1,1,1,1
0,0,1,1,0,0,0,1
0,1,1,1,0,1,0,1
0,0,1,1,0,0,0,1
0,1,1,1,0,1,0,1
1,0,1,1,1,0,1,1
1,1,1,1,1,1,1,1

第4步:使用paste查找累加超过1的行。

关于regex - 在多个日志文件中查找模式?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/28789829/

10-17 01:35