【1】Shell脚本:while read line无法读取最后一行的问题
刚刚利用shell脚本处理日志文件时,发现了一个问题:while read line无法读取到最后一行
通过编辑器可以看到待处理的文件是5243行,但是,脚本的计数值却只打印了5242次。
shell脚本源码如下:
icount=0
while read line
do
data=`echo ${line#*error repeat sdr }`
callid=`echo ${data% error:mysql.*}`
let icount++
echo "${icount}"
echo "${callid}" >> 2019-02-26-callid-test.txt
done < 2019-02-26-errorrepeat.txt
如上脚本。
【2】解决方案
方案一:
在利用while read line读取文件时:
如果文件最后一行之后没有换行符\n,则read读取最后一行时遇到文件结束符EOF,循环即终止。
虽然,此时$line内存有最后一行,但程序已经没有机会再处理此行内容。因此导致了这个问题发生。解决方案如下:
while read line || [[ -n ${line} ]]
这样当文件没有到最后一行时不会测试-n $line,当遇到文件结束(最后一行)时,仍然可以通过测试$line是否有内容来进行继续处理。
上例子代码如下改进:
icount=0
while read line || [[ -n ${line} ]]
do
data=`echo ${line#*error repeat sdr }`
callid=`echo ${data% error:mysql.*}`
let icount++
echo "${icount}"
echo "${callid}" >> 2019-02-26-callid-test.txt
done < 2019-02-26-errorrepeat.txt
方案二:
通过分析原因可知,本质原因是因为文件格式不是unix导致的,也可以直接通过设置文件格式来处理。
如这样处理,脚本代码不需改动。
查询文件格式和修改文件格式为unix,可参见随笔《/usr/bin/python^M: 解释器错误: 没有那个文件或目录》
Good Good Study, Day Day Up.
顺序 选择 循环 总结