1.Linux Shell入门

Quiz 1 一个接受命令行参数的shell脚本

任务 编写一个shell脚本1.sh,这个脚本接受一个命令行参数,并把这个参数打印两次到标准输出。 如果输入没有参数输入或者有多于一个参数输入,输出"error"。

if [ $# != 1 ] ; then
echo "error"
else
echo $1$1
fi

Quiz 2 生成时间相关文件夹

任务 编写一个shell脚本2.sh,无论脚本在任何位置用绝对路径执行都能完成这样的任务,在脚本2.sh所在目录新建一个空文件tmp_YYYYMMDD YYYYMMDD为当前日期

a=`date +%Y%m%d`
b="tmp_"$a
touch $b

2.学习Grep

题目
你需要用grep脚本(或者用grep和其他shell命令配合)实现如下一些功能
任务

Quiz 1

请完成脚本1.sh,统计文件中的空行个数并输出
数据 1.dat

grep -c "^$" 1.dat

Quiz 2

任务 请完成脚本2.sh,统计文件中不包含".txt"的行的行数并输出

数据 2.dat

grep -c -v "[.]txt" 2.dat

Quiz 3

任务 请完成脚本3.sh,求两个文件的差集(3a.txt-3b.txt)并排序输出到标准io中

数据 3a.dat,3b.dat

grep -F -v -f 3a.dat 3b.dat | sort | uniq
grep -F -v -f 3b.dat 3a.dat | sort | uniq

Quiz 4
任务 在log文件中,有表示各轮迭代模型性能的报告(如下所示),

Total:      P=0.97198463(7841/8067) R=0.97914585(7841/8008) F=0.97555210

请将他们提取出来,并以如下格式输出。

P=0.97 R=0.98 F=0.98

for LINE in `grep "^* Total:" 4.dat`
do
if [[ $LINE == "P="* ]];then
p=${LINE:0:6}
fi
if [[ $LINE == "R="* ]];then
r=${LINE:0:6}
fi
if [[ $LINE == "F="* ]];then
f=${LINE:0:6}
fi
# the new line parameter is -e,the other is -n
if [[ $p == "P="* ]] && [[ $r == "R="* ]] && [[ $f == "F="* ]];then
echo -n $p
echo -n " "
echo -n $r
echo -n " "
echo -n $f
echo ""
p=""
r=""
f=""
fi
done

3.学习Awk

Quiz1:输出一个文件所有的偶数行,数据1.dat

awk 'NR%2==0' 1.dat

Quiz2: 对于一个保存单词 频率的文件,要同时计算它的累积频率,并将它填在第三列。 举例如下,输入文件是

the 100
i 50
is 45
...

输出文件是:

the 100 100
i 50 150
is 45 195
...
i=1
THIRD=0
for ID in $(cat 2.dat)
do
NUM=$i
FIRST=$(awk 'NR=='$NUM' {print $1}' 2.dat)
SECOND=$(awk 'NR=='$NUM' {print $2}' 2.dat)
THIRD=$((THIRD+SECOND))
echo -n $FIRST
echo -n " "
echo -n $SECOND
echo -n " "
echo -n $THIRD
echo ""
i=$((i+1))
done

Quiz3:读入一个包含词性的文件,从中提取出原始句子。 输入文件格式:

石家庄_ns 空气_n 污染_vn 排_v 第一_m
潘石屹_ns 遭遇_v 被_p 代言_n
...

输出文件:

石家庄空气污染排第一
潘石屹遭遇被代言
...
sed 's/[ _a-zA-Z ]//g' 3.dat

4.学习Sed

Quize 1
任务 去掉文件中的空行
数据1.dat

sed '/^$/d' 1.dat

Quiz 2

任务某个文件包含三列,第三列是文本,但是文本被'扩了起来,请用提取出这一列并去掉开头和结尾的'符号。

数据2.dat

sed "s/.*[ \t]\{1,\}'//;s/'//" 2.dat

Quiz 3 Sed批量去拓展名

请用sed和for配合,将文件名的后缀.raw去掉

#delete file's extension
for file in `ls`; do mv $file `echo $file | sed 's/\.raw$//'`; done
#add file's extension
#for file in `ls`; do mv $file `echo $file | sed 's/$/\.raw//'`; done

5.Sort

Question:
Find out the most frequency 100 queries from the query log 有用户日志文件,每行记录了一个用户查询串,长度为1-255字节,共1千万行,请排出查询最多的前100条。

#!/bin/bash
file=query_log.txt
line=100
cat $file|
tr -cs "\n" |
tr A-Z a-z |
sort |
uniq -c |
sort -k1nr -k2 |
head -n$line
05-08 15:18