需求是统计某个业务的访问个数日志服务器上的目录结构是如下,搜索最近7天的指定关键字数据,并排重统计个数:

drwxr-xr-x  root root  Nov  : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
drwxr-xr-x root root Nov : --
[root@mail tmp]# ll /data1/mailLog/app/kafka/--/
total
-rw-r--r-- root root Nov api-mail-sina-com-cn.log

for循环的一行表示形式for ((i=15;i<=21;i++));do xxx;done
while循环的一行表示 while true;do xxx;done
获取当前年月`date +%Y-%m`
grep -oP只显示正则匹配到的内容
uniq|sort -u是去重

 for ((i=;i<=;i++));do cat `date +%Y-%m-$i`/api-mail-sina-com-cn.log|grep -oP "appid=2026078627&uid=\d+"|uniq|sort -u >/tmp/`date +%Y-%m-$i`.android.log;done

把匹配到的日志去重放入了/tmp/2019-11-22.android.log

wc -l *.android.log
--.android.log
--.android.log
--.android.log
--.android.log
--.android.log
--.android.log
--.android.log

如果有不同的关键字,就多加几个grep,类似下面这个

for ((i=15;i<=21;i++));do cat `date +%Y-%m-$i`/api-mail-sina-com-cn.log|grep "2026078627"|grep "active_client"|grep -oP "device_id=[^&]+|uniq|sort -u >/tmp/`date +%Y-%m-$i`.android.device.log;done

05-22 18:09