awk是由Alfred Aho 、Peter Weinberger 和 Brian Kernighan这三个人创造的，awk由这个三个人的姓氏的首个字母组成。awk其实可以看成是一门独立的编程语言，他支持条件判断、数组、循环等功能。awk共有两个版本(gawk与nawk版本),在linux中我们最常使用的是gawk,同时awk、grep、sed被称为Linux中的三剑客

[root@CodeSheep ~]# ll /usr/bin/awk
lrwxrwxrwx. 1 root root 4 Feb 15  2019 /usr/bin/awk -> gawk

关于"三剑客"的特长

grep 更适合单纯的查找和匹配文本
sed 更适合编辑匹配的文本
awk 更适合格式化文本,对文本进行较复杂格式处理

awk基础

语法
awk [options] '{pattern + action}' {filenames}
其中的action 我们最常用的就是print以及prinf,对于action来说，每次经过一行，都会当前行执行一边action
比如

awk '{print "1",NR}' /etc/passwd

你会发现有多少行，他就输出了多少个1 每行一个

awk的工作流程

首先awk并不是列操作，而是行操作，同样的他也是一行一行的处理的，其中$0表示当前行，比如在正常情况下我们输出全文是用cat来查看的，那么用awk的操作是这样的,另外awk的接受标准输入和文件

cat /etc/passwd
awk '{print $0}' /etc/passwd

# 如上的内容是一样的

awk中的分隔符

为了处理好每一行中的每一个字段，awk引入了分隔符的概念，分隔符有三种表现的形式，
一种是不输入任何不指定任何，则默认为空格
一种是自定义的分隔符使用 -F 指定比如 -F:
另外一种是使用内置变量指定 -v FS='#'

自定义分隔符
既然默认的分隔符是空格,那么当然还有自定义的分隔符咯。我们使用-F选项来指定我们的分隔符

# 使用#分隔符
[root@CodeSheep ~]# cat demo3.text
123#123#dsdshj#dlsj#
[root@CodeSheep ~]# awk -F# '{print $1}' demo3.text
123
[root@CodeSheep ~]# cat demo3.text
123#123#dsdshj#dlsj#
[root@CodeSheep ~]# awk -v FS='#' '{print $1}' demo3.text
123

其实在awk中不仅仅有输入的分割符,还有输出的分隔符，默认也为空格

[root@CodeSheep ~]# awk -F# '{print $1,$2}' demo3.text
123 123

OFS(output field separator)可以指定输出的分隔符,用法与FS相同

[root@CodeSheep ~]# awk -v  FS='#' -v OFS='++++' '{print $1,$2}' demo3.text
123++++123

awk的内建变量

awk支持内建变量和自定义变量

内建变量

$0 当前行
$1~$n 第n个字段
$NF 最后一个字段
NF 当前行被分割字段总数
NR 当前行行号
FNR 各文件分别计数的行号
FS 输入分隔符
OFS 输出分隔符
RS 输入换行符
ORS 输出换行符
FILENAME 当前文件名
ARGC 命令行参数的个数
ARGV 数组,保存的命令行所给定的各参数

# 给每一行添加行号,输出当前行号，以及当前行的内容
[root@CodeSheep ~]# df | awk '{print NR,$0}'
1 Filesystem     1K-blocks    Used Available Use% Mounted on
2 /dev/vda1       41147472 6848400  32395580  18% /
3 devtmpfs          930656       0    930656   0% /dev
4 tmpfs             941116       0    941116   0% /dev/shm
5 tmpfs             941116     452    940664   1% /run
6 tmpfs             941116       0    941116   0% /sys/fs/cgroup
7 tmpfs             188224       0    188224   0% /run/user/0
# 多个文件使用NR时,会根据的文件顺序累加序号
# FNR则会分开标序

# ARGV,ARGC
[root@CodeSheep ~]# awk 'BEGIN{print ARGV[0],ARGV[1],ARGV[2],ARGC}' demo1.txt demo2.text
awk demo1.txt demo2.text 3
# 其中ARGV作为数组,第一个参数是awk

自定义变量名
自定义变量的两种形式,一种是在action外面使用选项指定变量，比如 -v name="hzj"
另外一种则是在action前的pattern中定义，比如 {name="hzj"; action->print name}

[root@CodeSheep ~]# awk -v name="hzj" 'BEGIN{print name}'
hzj
[root@CodeSheep ~]# awk 'BEGIN{name="hzj";print name}'
hzj
[root@CodeSheep ~]# name=hzj
[root@CodeSheep ~]# awk -v name=$name 'BEGIN{print name}'
hzj

awk 参数

options

-v name="xx" -v外部定义变量

pattern+action

抛开Pattern 我们先来使用{action}

# 输出文本内容
[root@CodeSheep ~]# df
Filesystem     1K-blocks    Used Available Use% Mounted on
/dev/vda1       41147472 6848500  32395480  18% /
devtmpfs          930656       0    930656   0% /dev
tmpfs             941116       0    941116   0% /dev/shm
tmpfs             941116     452    940664   1% /run
tmpfs             941116       0    941116   0% /sys/fs/cgroup
tmpfs             188224       0    188224   0% /run/user/0
[root@CodeSheep ~]# df | awk '{print $1}'
Filesystem
/dev/vda1
devtmpfs
tmpfs
tmpfs
tmpfs
tmpfs

awk是逐行处理的,也就是说当awk处理一个文本的时候，他会一行一行的处理内容。其中awk默认以换行符为标记识别每一行。另外对于每一行的处理中 awk会按照用户指定的分隔符去分隔当前行，如果没有指定，则默认使用空格作为分隔符，当出现多个空格的时候,awk会自动将连续的空格理解成为一个分隔符。
其中我们将被awk处理后的每一行都使用了特定的变量标记
$0表示当前处理的整行
$1表示第一个字段
$2表示第二个字段
$NF表示最后一个字段
NF表示当前行被分割后字段总数
因此假设一行文本被空格分为8段，则$NF表示$8 NF=8 则$7=$(NF-1)

# 输出多行
[root@CodeSheep ~]# df | awk '{print $1 $2 $3}'
Filesystem1K-blocksUsed
/dev/vda1411474726848536
devtmpfs9306560
tmpfs9411160
tmpfs941116452
tmpfs9411160
tmpfs1882240
[root@CodeSheep ~]# df | awk '{print $1, $2 ,$3}'
Filesystem 1K-blocks Used
/dev/vda1 41147472 6848536
devtmpfs 930656 0
tmpfs 941116 0
tmpfs 941116 452
tmpfs 941116 0
tmpfs 188224 0
# 自己添加字段
[root@CodeSheep ~]# df | awk '{print $1 ,"this print test"}'
Filesystem this print test
/dev/vda1 this print test
devtmpfs this print test
tmpfs this print test
tmpfs this print test
tmpfs this print test
tmpfs this print test
[root@CodeSheep ~]# df | awk '{print "$1="$1 , "testfield:""this print test"}'
$1=Filesystem testfield:this print test
$1=/dev/vda1 testfield:this print test
$1=devtmpfs testfield:this print test
$1=tmpfs testfield:this print test
$1=tmpfs testfield:this print test
$1=tmpfs testfield:this print test
$1=tmpfs testfield:this print test
#看上面的案例我们可以发现,当$1被双引号包裹的时候，他就是一个字符串,不再是变量

awk中的Pattern
其实action的主要操作就是print输出,简单来用就是输出内容，更复杂的就是对输出的内容进行格式化的操作。而Pattern所存在的两种模式,愈加加强了awk的能力。

awk中的逻辑

为了更好的格式化,awk中也带有逻辑参数，其中包括开始BEGIN和结尾END,他们之间用{}分隔,比如

awk -v test="test" 'BEGIN{print "1",NR}{print test}END{print "input end" }' /etc/passwd

你会发现他输出了很多个test，首先begin进入，然后输出1和行号0 紧接着不断的进入行输出test 在最后一行输入时执行input end

特殊模式下的BEGIN与END

BEGIN 模式指定了处理文本之前需要执行的操作
END 模式指定了处理完所有行之后所需要执行的操作

[root@CodeSheep ~]# df | awk 'BEGIN{print "$1","$2"}'
$1 $2
[root@CodeSheep ~]# df | awk 'BEGIN{print "$1","$2"} {print $1,$2}'
$1 $2
Filesystem 1K-blocks
/dev/vda1 41147472
devtmpfs 930656
tmpfs 941116
tmpfs 941116
tmpfs 941116
tmpfs 188224
[root@CodeSheep ~]# df | awk 'BEGIN{print "$1","$2"} {print $1,$2} END{print "end for file"}'
$1 $2
Filesystem 1K-blocks
/dev/vda1 41147472
devtmpfs 930656
tmpfs 941116
tmpfs 941116
tmpfs 941116
tmpfs 188224
end for file

在BEGIN的模式下，首先awk会执行BEGIN中的action 之后才做去执行其他的action,同理,在执行完所有的action之后,awk回去执行END模式下面的action。需要注意的是两个特殊的模式BEGIN以及END都需要大写

于是 awk的格式化能力表露无疑了,提取字段再加上BEGIN与END的两种特殊模式，一张完整的表不就出来了嘛

关系运算符

<   小于      x < y
<=  小于等于  x <= y
==  等于      x==y
!=  不等于  x!=y
> = 大于等于 x>=y
>   大于  x>y
~  正则匹配  x ~ /正则/
!~ 正则不匹配  x !~ /正则/

awk中的正则模式

既然上面的关系运算符中出现了正则，那我们就来讲一讲正则模式
需要注意的是当使用{x,y}这种次数匹配的正则表达式时，需要配合--posix选项或者--re-interval选项

# 匹配/etc/passwd 中以 tss开头的行
[root@CodeSheep ~]# cat /etc/passwd |  awk '/tss/{print $0}'
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
# 匹配/etc/passwd 中以 /bin/bash结尾的行
[root@CodeSheep ~]# cat /etc/passwd |  awk '/\/bin\/bash$/{print $0}'
root:x:0:0:root:/root:/bin/bash
# 匹配/etc/passwd 中以/bin/bash结尾的行 到以 tss开头的行
[root@CodeSheep ~]# cat /etc/passwd |  awk '/\/bin\/bash$/,/^tss/{print $0}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
nscd:x:28:28:NSCD Daemon:/:/sbin/nologin
mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/false
dockerroot:x:997:994:Docker User:/var/lib/docker:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
# 匹配行号大于2 且小于6的行
[root@CodeSheep ~]# cat /etc/passwd |  awk 'NR>2 && NR<=6{print $0}'
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

awk中的语法逻辑

在awk中,同样可以使用if for while等在编程语法中出现的逻辑判断
if(){语句1;语句2;}

# 输出df第一行
[root@CodeSheep ~]# df | awk 'NR==1{print $0}'
Filesystem     1K-blocks    Used Available Use% Mounted on
[root@CodeSheep ~]# df | awk '{if(NR==1){print $0}}'
Filesystem     1K-blocks    Used Available Use% Mounted on

if(){语句1;语句2;}else{语句3;语句4;}
if(){语句1;语句2;}else if(){语句3;语句4;}else{语句5;语句6;}

for(初始化;表达式;更新){语句}
for(变量 in 数组){语句}
while(表达式){语句}
do{语句}while(条件)

# 循环输出1-10
[root@CodeSheep ~]# awk 'BEGIN{for(i=1;i<=10;i++){print i}}'
1
2
...
[root@CodeSheep ~]# awk 'BEGIN{i=1;while(i<=10){print i;i++}}'
1
2
3
...
# 使用continue和break
[root@CodeSheep ~]# awk 'BEGIN{for(i=1;i<=10;i++){if(i==3){continue};print i}}'
1
2
4
...
[root@CodeSheep ~]# awk 'BEGIN{for(i=1;i<=10;i++){if(i==3){break};print i}}'
1
2
# 使用exit退出当前脚本
[root@CodeSheep ~]# awk 'BEGIN{for(i=1;i<=10;i++){if(i==3){break};print i}}'
1
2
[root@CodeSheep ~]# df | awk 'BEGIN{print "filed"}{exit}{print $1}END{print "end file"}'
filed
end file
# 并不是直接结束,而是跳到了end
# 使用next 直接跳到下一行
df | awk 'BEGIN{print "输出第一行的下一行"}{if(NR==1){next};print $0}'
[root@CodeSheep ~]# df | awk 'BEGIN{print "输出第一行的下一行"}{if(NR==1){next};print $0;{exit}}'
输出第一行的下一行
/dev/vda1       41147472 6851112  32392868  18% /

sed基础

sed [参数][定址commands][inputfile]

参数:
--version 查看版本
--help 查看帮助
-n 关闭默认输出，默认自动打印所有行
-e 多点编辑，允许多个脚本指令被执行
-r 支持正则
-i 修改原文件内容
-f 支持使用脚本文件

命令：
/p 打印变动行
s/ 替换
y/ 替换
/n 替换第几个匹配的内容
/g 匹配所有行
/d 删除当前行
i 从当前行前插入
a 从当前行后插入
c 替换匹配行

使用案例

输出

输出passwd文件的1～3行
sed -n '1,3p' /etc/passwd
输出passwd文件的root～daemon行
sed -n '/^root/,/daemon/p'
输出passwd文件中uid是0或1的行
sed -n '/x:[0:1]:/p' /etc/passwd

删除

删除第一行
sed '1d' /etc/passwd
删除第一行和第三行
sed -e '1d' -e '3d' /etc/passwd
sed  '1d;3d' /etc/passwd
保留第一行 删除其他行
sed '1!d'

替换

匹配第一个并修改
sed 's/root/ROOT' /etc/passwd
匹配第二个并修改
sed 's/root/ROOT' /etc/passwd
匹配所有并修改
sed 's/root/ROOT/g' /etc/passwd
匹配修改成功后，打印变动行
sed -n 's/root/ROOT/pg' /etc/passwd
修改后另存为其他文件
sed -n 's/root/ROOT/pg;w passwd.md' /etc/passwd
sed -n 's/root/ROOT/pgw passwd.md' /etc/passwd
在文件的每行前面添加#注释
sed -n 's/^/#/p' /etc/passwd
删除文件的第1个字符
sed 's/^.//1' /etc/passwd
删除文件的第二个字符
sed 's/.//2' /etc/passwd
在每一行的上面添加hello
sed 'i hello' /etc/passwd
在第一行的上面添加hello
sed '1a hello' /etc/passwd
将a~z替换成A～Z
sed 'y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/' /etc/passwd
替换匹配行
sed -n '1c hello' /etc/passwd
输出1行
sed -n '1q' /etc/passwd
打印奇数行
sed -n 'p;n' /etc/passwd
打印偶数行
sed -n 'n;p' /etc/passwd
打印匹配字符串的下一行
sed -n '/^root/{n;p}' /etc/passwd

grep基础

grep (global regular Expression Print) 全局正则表达式输出

grep (选项) pattern flie

-A <显示行数> 除了显示符合匹配行，也显示匹配行后的n行
-B <显示行数> 除了显示符合匹配行，也显示匹配行前的n行
-C <显示行数>  A+B  显示前后n行
-c 统计匹配行数的总数,仅显示
-e 实现多个选项件的逻辑关系 or
-E 扩展的正则表达式
-f FILE：从FILE获取PATTERN匹配
-i --ignore-case 忽略字符大小写的差别
-n 显示匹配的行号
-o 仅显示匹配到的字符串
-v 反向匹配，显示不被pattern匹配到的行
-w 匹配整个单词

需要注意的地方

egrep = grep -E 除了 < \> \b 以外其他正则都可以去掉
如果有要匹配的内容中,有( ; )这种的话最好加"" 比如 grep ";" test.txt

正则表达式

匹配内容
.匹配全部字符，不匹配空行
[]匹配指定范围内的任意单个字符
[^] 取反
[:alnum:] [0-9a-zA-Z]
[:alpha:] [a-zA-Z]
[:upper:] 或 [A-Z]
[:lower:] 或 [a-z]
[:blank:] 匹配空白字符
[:punct:] 标点符号
匹配次数

*匹配任意次 0-n次 ,贪婪模式(尽可能多匹配)
.*匹配任意次 1-n次
\?匹配 0-1次
\+至少匹配1次
char\{n\} 匹配char n次
char\{n,m\} 匹配char n-m次
char\{,n\} 匹配char 最多n次
char\{n,\} 匹配char 至少n次

位置确定
^ 行首
$ 行尾
^$ 空白行

划组匹配
在正则表达示中使用之前匹配到的内容，即划组匹配

# 分组形式 \(\)
# 读取方式 \1 \2 \3

分隔

linux三剑客