03：linux文件操作四剑客

1.1 find查找命令

　　1、find命令说明

　　　　　　1. Linux find命令用来在指定目录下查找文件。

　　　　　　2. 任何位于参数之前的字符串都将被视为欲查找的目录名。

　　　　　　3. 如果使用该命令时，不设置任何参数，则find命令将在当前目录下查找子目录与文件。

-name            # 按文件名查找

-size            # 按文件大小查找

-perm            # 按权限查找

-mtime n         # 查找n天内修改内容的文件

-mmin n          # 查找n分钟内修改内容的文件

　　2、find常用查找方法

# 查找当前目录下大于9M的文件详细信息

[root@linux-node1 /]# find . -size +9M | xargs ls -lh

-rw-r--r--  1 root root  24M Jul  7 04:18 ./aaa/Python-3.7.0/libpython3.7m.a

-rwxr-xr-x  1 root root  14M Jul  7 04:19 ./aaa/Python-3.7.0/Programs/_testembed

-rwxr-xr-x  1 root root  14M Jul  7 04:18 ./aaa/Python-3.7.0/python

-rw-r--r--  1 root root  22M Jul  6 23:53 ./aaa/Python-3.7.0.tgz

-rw-------. 1 root root  47M Jan  7  2019 ./boot/initramfs-0-rescue-8b956f09fe0549c4b6182589acceab30.img

-rw-------. 1 root root  21M Jan  7  2019 ./boot/initramfs-3.10.0-514.el7.x86_64.img

-rw-------. 1 root root  14M Jan  7  2019 ./boot/initramfs-3.10.0-514.el7.x86_64kdump.img

find . -size +9M | xargs ls -lh : 查找当前目录下大于9M的文件详细信息

[root@linux-node1 /]# find . -type f -name "*.log" -size +1M -exec cp -av {} /tmp \;

cp: ‘./tmp/audit.log’ and ‘/tmp/audit.log’ are the same file

cp: ‘./tmp/journal.log’ and ‘/tmp/journal.log’ are the same file

find . -type f -name "*.log" -size +1M -exec cp -av {} /tmp \; ：查找当前目录下以 .log 结尾且大于5M的文件，并复制到/tmp目录下

[root@linux-node1 /]# find /var -mtime +3 -mtime -5

/var/tmp

/var/lib/yum/yumdb/l

/var/lib/yum/yumdb/l/f20daac8f6b3893e42be72af22a5118848f

find /var -mtime +3 -mtime -5 ：在/var下查找更改时间在三天到五天的文件

[root@linux-node1 /]# find . -mmin +1 -mmin -3

./aa.py

find . -mmin +1 -mmin -3 ：查找当前文件夹下1分钟前3分钟内修改的文件

1.2 grep指令

　　1、grep指令说明　　　　　

　　　　　　1. grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来

　　　　　　2. grep搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。

^linux         # 以linux开头的行

$php           # 以php结尾的行

.              # 匹配任意单字符

.+             # 匹配任意多个字符

.*             # 匹配0个或多个字符(可有可无)

[0-9a-z]       # 匹配中括号内任意一个字符

[abc]          # 表示匹配一个字符，这个字符必须是abc中的一个。

(linux)+       # 出现多次Linux单词

(web){2}       # web出现两次以上

\              # 屏蔽转义

　　2、grep常用查找方法

[root@linux-node1 /]# grep -n 'root' /etc/passwd

1:root:x:0:0:root:/root:/bin/bash

10:operator:x:11:0:operator:/root:/sbin/nologin

grep -n 'root' /etc/passwd ：查找/etc/passwd下包含 root字符串的文件

[root@linux-node1 /]# grep -Ev "root|nologin" /etc/passwd

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

grep -Ev "root|nologin" /etc/passwd ：查找不包含root和nologin关键字的行

[root@linux-node1 /]# grep "root" /etc/{passwd,shadow}

/etc/passwd:root:x:0:0:root:/root:/bin/bash

/etc/passwd:operator:x:11:0:operator:/root:/sbin/nologin

grep "root" /etc/{passwd,shadow}：查找/etc/passwd和/etc/shadow文件中包含root关键字的行

[root@linux-node1 /]# grep -c root /etc/passwd

2

grep -c root /etc/passwd ：统计/etc/passwd文件中包含root字符串行的数量

　　3、grep其他用法

[root@linux-node1 ~]# grep -E -v "^$|^#" /etc/nginx/nginx.conf

user  nginx;

worker_processes  1;

error_log  /var/log/nginx/error.log warn;

pid        /var/run/nginx.pid;

events {

    worker_connections  1024;

}

grep -E -v "^$|^#" /etc/nginx/nginx.conf : 去除空号和以#号开头的行

[root@linux-node1 ~]# seq 1 20 |grep -m 5 -E '[0-9]{2}'

10

11

12

13

14

seq 1 20 |grep -m 5 -E '[0-9]{2}' ：输出匹配的前五个结果

[root@linux-node1 ~]# seq 1 20 |grep -c -E '[0-9]{2}'

11

seq 1 20 |grep -c -E '[0-9]{2}' ：输出匹配多少行

[root@linux-node1 ~]# echo "a bc de" |xargs -n1 |grep '^b'

bc

echo "a bc de" |xargs -n1 |grep '^b' ：匹配以字符串"b"开头的行

[root@linux-node1 ~]# echo "a ab abc abcd abcde" |xargs -n1 |grep -n 'de$'

5:abcde

echo "a ab abc abcd abcde" |xargs -n1 |grep -n 'de$' ：匹配以"de"字符串结尾的行

[root@linux-node1 ~]# grep -r 'sshd' /etc --include *.conf

/etc/sestatus.conf:/usr/sbin/sshd

/etc/sestatus.conf:/usr/sbin/sshd

grep -r 'sshd' /etc --include *.conf ：递归搜索/etc 目录下包含 "sshd"字符串的 conf 后缀文件

[root@linux-node1 ~]# seq 41 45 |grep -E '4[12]'

41

42

seq 41 45 |grep -E '4[12]' ：匹配41/42数字

1.3 sed流编辑器，过滤和替换文本

　　1、sed指令说明

　　　　　　1. sed 命令将当前处理的行读入模式空间进行处理，处理完把结果输出，并清空模式空间。

　　　　　　2. 然后再将下一行读入模式空间进行处理输出，以此类推，直到最后一行。

　　　　　　3. 还有一个暂存空间，可以暂时存放一些处理的数据，但不能直接输出，只能放到模式空间输出。

　　　　　　4. 这两个空间其实就是在内存中初始化的一个内存区域，存放正在处理的数据和临时存放的数据

-n         # 只列出sed处理的哪一行内容

-e         # 直接在sed模式上进行sed动作编辑

-f         # 直接将sed动作写在一个文件内

-r         # 让sed指令支持扩展的正则表达式

'''1. 常用选项 '''

-n   # 不打印模式空间

-e   # 执行脚本、表达式来处理

-f   # 执行动作从文件读取执行

-i   # 修改原文件

-r   # 使用扩展正则表达式

'''2. 常用命令 '''

s/regexp/replacement/  # 替换字符串

p    # 打印当前模式空间

P    # 打印模式空间的第一行

d    # 删除模式空间，开始下一个循环

D    # 删除模式空间的第一行，开始下一个循环

=    # 打印当前行号

a \text    # 当前行追加文本

i \text    # 当前行上面插入文本

c \text    # 所选行替换新文本

q          # 立即退出 sed 脚本

r          # 追加文本来自文件

w filename # 写入当前模式空间到文件

!          # 取反、 否定

'''3. 常用地址 '''

$              # 匹配最后一行

/regexp/       # 正则表达式匹配行

number         # 只匹配指定行

addr1,addr2    # 开始匹配 addr1 行开始，直接 addr2 行结束

addr1,+N       # 从 addr1 行开始，向后的 N 行

addr1,~N       # 从 addr1 行开始，到 N 行结束

sed指令参数详解

　　2、sed常用方法

[root@linux-node1 aaa]# nl /etc/passwd | sed '2,5d'

     1  root:x:0:0:root:/root:/bin/bash

     6  sync:x:5:0:sync:/sbin:/bin/sync

     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

     8  halt:x:7:0:halt:/sbin:/sbin/halt

     9  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

    10  operator:x:11:0:operator:/root:/sbin/nologin

nl /etc/passwd | sed '2,5d' ：将2~5行内容删除，然后打印到屏幕上

[root@linux-node1 aaa]# nl /etc/passwd | sed '2,5c "new content"'

     1  root:x:0:0:root:/root:/bin/bash

"new content"

     6  sync:x:5:0:sync:/sbin:/bin/sync

     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

     8  halt:x:7:0:halt:/sbin:/sbin/halt

     9  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

    10  operator:x:11:0:operator:/root:/sbin/nologin

nl /etc/passwd | sed '2,5c "new content"' ：将2~5行的内容替换成字符串 "new content"

[root@linux-node1 aaa]# nl /etc/passwd | sed '/root/d'

     2  bin:x:1:1:bin:/bin:/sbin/nologin

     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin

     4  adm:x:3:4:adm:/var/adm:/sbin/nologin

     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

     6  sync:x:5:0:sync:/sbin:/bin/sync

nl /etc/passwd | sed '/root/d' ：删除/etc/passwd所包含root的行

[root@linux-node1 aaa]# nl /etc/passwd | sed -e '3,$d' -e 's/root/mewusername/'

     1  mewusername:x:0:0:root:/root:/bin/bash

     2  bin:x:1:1:bin:/bin:/sbin/nologin

-e '3,$d'                       # 删除/etc/passwd第三行到末尾的数据

-e 's/root/nuwusername/'        # 将搜索到的内容 root替换成 newusername

nl /etc/passwd | sed -e '3,$d' -e 's/root/mewusername/' ：提取到前两行数据，并将 root替换成 newusername

　　3、sed匹配打印

[root@linux-node1 ~]# tail /etc/services |sed -n '/^blp5/p'

blp5            48129/tcp               # Bloomberg locator

blp5            48129/udp               # Bloomberg locator

tail /etc/services 3gpp-cbsp 48049/tcp 3gpp-cbsp 48049/tcp isnetserv 48128/tcp isnetserv 48128/udp 1
3
5
7
9

seq matahari 49000/tcp 3gpp-cbsp 48049/tcp isnetserv 48128/tcp isnetserv 48128/udp blp5 48129/tcp blp5 48129/udp com-bardac-dw 48556/tcp blp5 48129/tcp blp5 48129/udp com-bardac-dw 48556/tcp [root@linux-node1 3gpp-cbsp 48049/tcp isnetserv 48128/tcp isnetserv 48128/udp |sed -n '/^blp5/p' ：打印匹配 blp5 开头的行

awk