是小菜欸

是小菜欸

关注
发信
关注(28)粉丝(399)

Python 日志记录器logging 百科全书 之 日志回滚

Python 日志记录器logging 百科全书 之 日志回滚-LMLPHP

Python 日志记录器logging 百科全书 之 日志回滚

前言

在之前的文章中，我们学习了关于Python日志记录的基础配置。

本文将深入探讨Python中的日志回滚机制，这是一种高效管理日志文件的方法，特别适用于长时间运行或高流量的应用。

知识点📖📖

导入模块

import logging
from logging.handlers import (RotatingFileHandler, TimedRotatingFileHandler)

文章脉络：

日志回滚

在Python中，日志回滚通常通过logging.handlers模块中的RotatingFileHandler或TimedRotatingFileHandler实现。

  • RotatingFileHandler: 当日志文件达到指定大小时，自动“回滚”日志文件，即创建一个新的日志文件，并将旧文件保留为备份。
  • RotatingFileHandler: 根据时间间隔回滚日志文件，可以是每秒、每分钟、每小时或每天等。

概念

Logger（日志记录器）

  • Logger是日志系统的入口。应用程序通过Logger实例来记录日志。
  • 功能：Logger负责捕获日志消息并将它们分发给所有附加的Handler。
  • 日志级别：Logger可以设置日志级别，以决定要处理哪些级别的日志消息。

Handler（日志处理器）

  • Handler负责将日志消息发送到指定的目的地，这个目的地可以是文件、控制台、网络等。
  • 类型：包括但不限于StreamHandler（控制台输出）、FileHandler（写入文件）、RotatingFileHandler（基于文件大小回滚的文件写入）、TimedRotatingFileHandler（基于时间间隔回滚的文件写入）等。
  • 独立配置：每个Handler可以有自己的日志级别和格式设置（通过Formatter）。这允许不同的Handler以不同的方式处理相同的日志消息。

多处理器配置

  • 灵活性：一个Logger可以附加多个Handler，每个Handler可以独立配置，增加了日志系统的灵活性和可定制性。
  • 举例：例如配置一个Logger，使其同时将日志消息输出到控制台（使用StreamHandler）和文件（使用FileHandler或RotatingFileHandler）。
  • 级别和格式的多样性：不同的Handler可以设置不同的日志级别和格式。例如对于调试目的，在控制台上输出所有级别的日志，而在文件中只记录警告或更高级别的日志。

步骤

设置日志回滚的步骤如下：

  1. 创建日志记录器（Logger）：实例化一个日志记录器，为日志消息提供一个捕获和分发的入口点；
  2. 创建日志格式（Formatter）：创建一个Formatter对象，指定日志消息的格式；
  3. 实例化日志处理器（Handler）：根据需要选择适当的处理器，例如FileHandler、RotatingFileHandler等；
  4. 添加处理器（Handler）到记录器（Logger）：最后，将这些处理器添加到日志记录器（Logger）；
  5. 记录日志：使用配置好的日志记录器来记录消息
  6. （可选）清理旧日志文件

1. 创建日志记录器（Logger）

  • 实例化一个日志记录器，为日志消息提供一个捕获和分发的入口点。
  • 命名可随意，如不传入，默认返回 root logger
logger = logging.getLogger(name="my_application_logger")
logger.setLevel(logging.INFO)

2. 创建日志格式（Formatter）

  • 创建一个Formatter对象，定义日志消息的输出格式。这可以包括时间戳、日志级别、消息等。
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

3. 实例化日志处理器（Handler）

根据需要选择适当的处理器，

对于基于文件大小的回滚：

  • 创建一个RotatingFileHandler，设置最大文件大小和备份文件数量。
rotating_handler = RotatingFileHandler("my_log.log", maxBytes=1024*1024, backupCount=5)
rotating_handler.setFormatter(formatter)

对于基于时间的回滚：

  • 创建一个TimedRotatingFileHandler，设置回滚时间（如午夜）、间隔和备份文件数量。
timed_handler = TimedRotatingFileHandler("my_log.log", when="midnight", interval=1, backupCount=7)
timed_handler.setFormatter(formatter)

4. 添加处理器（Handler）到记录器（Logger）

  • 将配置好的处理器添加到日志记录器。这使得日志消息可以按照处理器的配置被处理和输出。
  • 同时添加多个日志处理器 也没任何问题~
logger.addHandler(rotating_handler)
logger.addHandler(timed_handler)

5. 记录日志

  • 使用配置好的日志记录器来记录消息。根据记录器和处理器的配置，日志消息将按照指定的方式被处理和存储。
logger.info("This is a test log message.")

6. (可选) 清理旧日志文件

  • 定期清理旧的日志文件是维护日志系统的一部分。可以编写脚本或使用工具来自动删除过时的日志文件，以释放磁盘空间。
import os
import glob
import time

log_dir = '/logs'
# 查找目录中所有扩展名为.log的文件
log_files = glob.glob(os.path.join(log_dir, '*.log'))

for log_file in log_files:
    # 检查文件的最后修改日期
    # 判断文件的最后修改时间是否早于当前时间7天（7 * 24 * 3600秒）
    if os.path.getmtime(log_file) < (time.time() - 7 * 24 * 3600):
        os.remove(log_file)

RotatingFileHandler

RotatingFileHandler是用于基于文件大小的日志回滚。当日志文件达到指定大小时，它会自动 回滚 日志文件。

主要参数：

  1. filename：日志文件的名称。
  2. mode：文件的打开模式。默认是 'a'，表示追加模式。其他常见模式包括 'w'（写模式，每次启动时覆盖文件）。
  3. maxBytes：日志文件的最大字节数。当文件大小超过这个值时，会创建一个新文件。如app.log.1, app.log.2 …
  4. backupCount：保留的备份文件数量。比如，如果设置为5，则除了原始日志文件外，还会有5个备份文件。
  5. encoding（可选）：文件的编码方式，同basicConfig。
  6. delay（可选）：如果设置为True，则直到第一次调用emit()方法时才会创建文件。即直到日志系统实际写入消息时才创建文件，避免创建空日志文件
  7. errors：指定如何处理编码错误，同basicConfig。

示例代码

import logging
from logging.handlers import RotatingFileHandler

# 创建日志记录器，设置日志级别为INFO
logger = logging.getLogger("my_app_logger")
logger.setLevel(logging.INFO)

# 创建 RotatingFileHandler
# 设置文件最大大小为1MB，最多保留3个备份
handler = RotatingFileHandler("./logs/app.log", maxBytes=1024*1024, backupCount=3)
handler.setLevel(logging.INFO)

# 创建日志格式并设置给处理器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

# 将处理器添加到日志记录器
logger.addHandler(handler)

# 记录一些示例日志
for i in range(1000):
    logger.info(f"This is log message {i}")

TimedRotatingFileHandler

TimedRotatingFileHandler用于基于时间的日志回滚。根据指定的时间间隔回滚日志文件。

主要参数：

  1. filename：日志文件的名称。
  2. when：时间间隔的类型。常见值有'S'（秒），'M'（分钟），'H'（小时），'D'（天），'W0'-'W6'（周一至周日），'midnight'（每天午夜）。
  3. interval：回滚之间的时间间隔。与when参数一起使用。例如，when='H'和interval=6表示每6小时回滚一次日志文件。
  4. backupCount：保留的备份文件数量。比如，如果设置为5，则除了原始日志文件外，还会有5个备份文件。
  5. encoding（可选）：文件的编码方式，同basicConfig。
  6. delay（可选）：如果设置为True，则直到第一次调用emit()方法时才会创建文件。即直到日志系统实际写入消息时才创建文件，避免创建空日志文件
  7. utc：如果设置为True，则时间间隔的计算基于UTC时间。默认为False，基于本地时间。
  8. atTime（可选）：如果when设置为'midnight'，这个参数可以用来指定回滚发生的具体时间。
  9. errors：指定如何处理编码错误，同basicConfig。

示例代码

import logging
from logging.handlers import TimedRotatingFileHandler

# 创建日志记录器，设置日志级别为INFO
logger = logging.getLogger("my_app_logger")
logger.setLevel(logging.INFO)

# 创建 TimedRotatingFileHandler
# 设置每天午夜回滚一次日志，保留最多7个备份
handler = TimedRotatingFileHandler("./logs/app.log", when="midnight", interval=1, backupCount=7)
handler.setLevel(logging.INFO)

# 创建日志格式并设置给处理器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

# 将处理器添加到日志记录器
logger.addHandler(handler)

# 记录一些示例日志
for i in range(1000):
    logger.info(f"This is log message {i}")

应用场景

总结🐓🐓

本文详细探讨了Python中的日志回滚机制，包括RotatingFileHandler和TimedRotatingFileHandler两种关键的日志处理器。这些处理器不仅增强了日志系统的灵活性，还大大简化了日志管理，特别适用于长时间运行或高流量的应用。

日志回滚是一种高效的日志管理技术，能够自动控制日志文件的大小和生命周期。通过正确使用RotatingFileHandler和TimedRotatingFileHandler，我们可以为应用程序提供稳定、可靠的日志记录机制，保障应用程序的健康运行。

后话

本次分享到此结束，

see you~🐱‍🏍🐱‍🏍

11-14 06:37
Powered by LMLPHP ©2024 是小菜欸 0.001668