该脚本的功能是定时分割日志文件
#!/usr/bin/env bash #定时分割清理日志文件 #usage="Usage: logrotate (start|stop) file (line|size)"
#usage="-e Usage: logrotate start file (line|size) or logrotate stop"
usage="-e Usage: ${PROGRAM} { start file (line|size) | stop | restart file (line|size) | status | version | help }" #获取该文件的名称
declare -r PROGRAM="$(basename "$")" #解析参数
# get arguments
startStop=$
shift
logfile=$
shift
lineSize=$
shift
#echo $startStop
#echo "logfile: $logfile" #设置心跳,即多长时间执行一次,单位s
HEARTBEAT=${HEARTBEAT:-$[**]}
#HEARTBEAT=
#echo $HEARTBEAT #日志保存天数
SAVE_DAYS=${SAVE_DAYS:-} function get_time(){
#获取今天日期
TODAY_DATE=$(date +%Y%m%d)
#echo $TODAY_DATE #获取 $SAVE_DAYS 天前的日期
#EARLY_DATE=`date +%Y%m%d --date="-1 day"`
EARLY_DATE=$(date +%Y%m%d --date="-${SAVE_DAYS} day")
#echo $EARLY_DATE #获取当前时间
cur_time=$(date "+%Y%m%d%H%M%S")
} #清理过期日志文件
function delete_expired_logfile() {
logfileLength=`echo ${FILEPrefix} |wc -L`
let logfileLength=$logfileLength+
#echo $logfileLength #遍历符合表达式的文件
for logfiles in `ls ${FILEDIR} | grep -o -E ${FILEPrefix}_'[0-9]*'_'[0-9]*'.log`
do
#echo $logfiles
logfileLength2=`echo ${logfiles} |wc -L`
#如果文件长度等于规定的长度,
if [ $logfileLength2 -eq $logfileLength ] ; then
#获取该日志文件的日期
logDate=${logfiles::}
if [ $logDate -lt $EARLY_DATE ] ; then
rm -rf ${FILEDIR}/$logfiles
fi
fi
done
} #获取日志目录与日志名
function get_logname_info() {
#logfile=/home/user/file/out.log
#已知文件,获取文件名,该方式是从左开始最大化匹配到字符"/",然后截掉左边内容(包括字符"/"),返回余下右侧部分。
FILENAME=${logfile##*/}
#echo "filename: $FILENAME" #判断$logfile是否包含"/"
#echo "$logfile" |grep -q "/"
#if [ $? -eq 0 ] ; then
if [[ $logfile =~ "/" ]] ; then
#已知文件,获取文件路径,该方式是从右开始第一次匹配到字符"/",然后截掉右边内容(包括字符"/"),返回余下左侧部分。
FILEDIR=${logfile%/*}
else
FILEDIR="."
fi #echo "filedir: $FILEDIR" #获取文件名前缀
FILEPrefix=${FILENAME%.*}
#echo "filePrefix: $FILEPrefix" #判断$FILENAME是否包含"."
if [[ $FILENAME =~ "." ]] ; then
#获取文件名后缀
FILESuffix=${FILENAME##*.}
else
FILESuffix=""
fi
#echo "fileSuffix: $FILESuffix" #LOG_DIR="/usr/local/nginx/logs/"
#echo $LOG_DIR
} ###################################
#(函数)判断程序是否已启动
#
#说明:
#使用JDK自带的JPS命令及grep命令组合,准确查找pid
#jps 加 l 参数,表示显示java的完整包路径
#使用awk,分割出pid ($1部分),及Java程序名称($2部分)
###################################
#初始化psid变量(全局)
psid=0 function checkpid() {
javaps=`ps -ef | grep $PROGRAM | grep -v "grep"` if [ -n "$javaps" ]; then
psid=`echo $javaps | awk '{print $2}'`
else
psid=0
fi
} ###################################
#(函数)启动程序
#
#说明:
#1. 首先调用checkpid函数,刷新$psid全局变量
#2. 如果程序已经启动($psid不等于0),则提示程序已启动
#3. 如果程序没有被启动,则执行启动命令行
#4. 启动命令执行后,再次调用checkpid函数
#5. 如果步骤4的结果能够确认程序的pid,则打印[OK],否则打印[Failed]
#注意:echo -n 表示打印字符后,不换行
#注意: "nohup 某命令 >/dev/null 2>&1 &" 的用法
###################################
function do_start() {
echo -n "Starting $PROGRAM ..."
checkpid
echo -n "(pid=$psid) "
if [ $psid -ne 0 ]; then
echo "[OK]"
if [[ $lineSize == "line" ]] || [[ $lineSize == "size" ]] ; then
while true
do
get_time
delete_expired_logfile
case "${lineSize:-}" in
line)
#divide_file_by_line
divide_file_by_line2
;; size)
divide_file_by_size
;; esac sleep ${HEARTBEAT}
done
else
echo "Usage: logrotate start file (line|size)"
fi
else
echo "[Failed]"
fi
} ###################################
#(函数)停止程序
#
#说明:
#1. 首先调用checkpid函数,刷新$psid全局变量
#2. 如果程序已经启动($psid不等于0),则开始执行停止,否则,提示程序未运行
#3. 使用kill -9 pid命令进行强制杀死进程
#4. 执行kill命令行紧接其后,马上查看上一句命令的返回值: $?
#5. 如果步骤4的结果$?等于0,则打印[OK],否则打印[Failed]
#6. 为了防止java程序被启动多次,这里增加反复检查进程,反复杀死的处理(递归调用stop)。
#注意:echo -n 表示打印字符后,不换行
#注意: 在shell编程中,"$?" 表示上一句命令或者一个函数的返回值
###################################
function do_stop() {
checkpid if [ $psid -ne 0 ]; then
echo -n "Stopping $PROGRAM ...(pid=$psid) "
kill -9 $psid
if [ $? -eq 0 ]; then
echo "[OK]"
else
echo "[Failed]"
fi checkpid
if [ $psid -ne 0 ]; then
stop
fi
else
echo "================================"
echo "warn: $PROGRAM is not running"
echo "================================"
fi
} #copy文件
function copy_logfile() {
logfile_bak=${logfile}.bak
#echo ${logfile_bak}
cp -rf $logfile ${logfile_bak}
#filename_bak=${FILENAME}.bak
#echo ${FILENAME}
#echo ${filename_bak}
#cp -rf ${FILEDIR}/${FILENAME} ${FILEDIR}/${filename_bak}
} #设置划分文件的行数
LINE_NUM=${LINE_NUM:-30000}
#LINE_NUM=${LINE_NUM:-3}
#echo $LINE_NUM
#按照固定行数分割文件
function divide_file_by_line() {
#get_time #获取日志文件的行数
#line=`cat $logfile | wc -l`
line=`sed -n '$=' $logfile`
#echo $line
startLine=1
#endLine=$line
i=0
# 如果line > LINE_NUM,则进行划分, (-gt > , -lt <, )
#while [ ${endLine} -gt 0 ]
while [ ${startLine} -lt ${line} ]
do
#startLine=1
let endLine=$startLine+$LINE_NUM-1
num=`printf "%04d\n" $i` #sed -n "${startLine},${endLine} p;q" $logfile >result_${cur_time}.txt
#将 $logfile 文件的从${startLine}到${LINE_NUM}行的数据写到 文件
#sed -n "${startLine},${LINE_NUM} p" $logfile >${FILEPrefix}_${cur_time}_${num}.log
sed -n "${startLine},${endLine} p" $logfile >${FILEDIR}/${FILEPrefix}_${cur_time}_${num}.log
#删除指定的行
#sed -i "${startLine},${LINE_NUM} d" $logfile
#let endLine=${endLine}-${LINE_NUM}
let startLine=$startLine+$LINE_NUM
let i=$i+1
#sleep 1s
done
#清空文件内容,因为日志文件实时更新,所以不能清空
#echo "" > $logfile
#删除指定的行
sed -i "1,${line} d" $logfile
} #按照固定行数分割文件
function divide_file_by_line2() {
#get_time #获取日志文件的行数
line=`cat $logfile | wc -l`
#line=`sed -n '$=' $logfile` # 以行为单位划分文件,-l行数,将urls.txt文件按2000行一个文件分割为多个文件;-d添加数字后缀,比如00,01,02;-a 2表示用两位数据来顺序命名;url_定义分割后的文件名前缀。
# split urls.txt -l 2000 -d -a 2 url_
split $logfile -l ${LINE_NUM} -d -a 4 "${FILEDIR}/${FILEPrefix}_${cur_time}_"
#ls|grep tmp_|xargs -n1 -i{} mv {} {}.txt,意思是先查找tmp_开头的文件,然后逐个重命名为.txt
ls ${FILEDIR} |grep "${FILEPrefix}_${cur_time}_"|xargs -n1 -i{} mv ${FILEDIR}/{} ${FILEDIR}/{}.log
#rename_logfile #清空文件内容,因为日志文件实时更新,所以不能清空
#echo "" > $logfile
#删除指定的行
sed -i "1,${line} d" $logfile
} #设置划分文件的大小(单位MB)(1MB=1*1024KB=1*1024*1024B=1*1024*1024*8b)
#转换成KB
#SIZE=${SIZE:-$[32*1024]}
SIZE=${SIZE:-32}
#SIZE=5
#echo $SIZE
#按照文件大小,分割文件
function divide_file_by_size() {
#get_time #获取日志文件的行数
line=`cat ${logfile} | wc -l` #按文件大小划分
# 以文件大小为单位划分文件,-b, --bytes=SIZE:对file进行切分,每个小文件大小为SIZE,可以指定单位b,k,m;-d添加数字后缀,比如00,01,02;-a 2表示用两位数据来顺序命名;url_定义分割后的文件名前缀。
# split urls.txt -b 500k -d -a 2 url_
split $logfile -b ${SIZE}m -d -a 4 "${FILEDIR}/${FILEPrefix}_${cur_time}_"
#ls|grep tmp_|xargs -n1 -i{} mv {} {}.txt,意思是先查找tmp_开头的文件,然后逐个重命名为.txt
ls ${FILEDIR}|grep "${FILEPrefix}_${cur_time}_"|xargs -n1 -i{} mv ${FILEDIR}/{} ${FILEDIR}/{}.log
#rename_logfile #删除指定的行
sed -i "1,${line} d" $logfile
} #重命名日志文件
function rename_logfile() {
#加.log后缀
for logfiles in `ls ${FILEDIR} | grep "${FILEPrefix}_${cur_time}_"`
do
# 拼接成文件名
logfilename="${logfiles}.log"
# 更改文件名
mv ${FILEDIR}/$logfiles ${FILEDIR}/$logfilename
done
} function do_version() {
echo "$PROGRAM version \"1.0\""
} ###################################
#(函数)检查程序运行状态
#
#说明:
#1. 首先调用checkpid函数,刷新$psid全局变量
#2. 如果程序已经启动($psid不等于0),则提示正在运行并表示出pid
#3. 否则,提示程序未运行
###################################
status() {
checkpid if [ $psid -ne 0 ]; then
echo "$PROGRAM is running! (pid=$psid)"
else
echo "$PROGRAM is not running"
fi
} #主函数
function main() {
get_logname_info case "${startStop:-}" in
start)
if [ ${logfile:-} ] ; then
do_start
else
echo "Usage: logrotate start file (line|size)"
fi
;; stop)
do_stop
;; restart)
do_stop
if [ ${logfile:-} ] ; then
do_start
else
echo "Usage: logrotate restart file (line|size)"
fi
;; status)
do_status
;; version|--version|-v)
do_version
;; help|--help|-help)
echo $usage #"Usage: ${PROGRAM} { start | stop | restart | status | version | help }"
;; *)
echo >&2 $usage #"Usage: ${PROGRAM} { start | stop | restart | status | version | help }"
exit 1
;;
esac
} #运行
main "$@"