Files
douyin_guaji-main/LOGGING_IMPROVEMENTS.md
T
Your Name 47e6b016c5 refactor: Remove deprecated files and enhance configuration settings
- Deleted outdated markdown files and scripts related to previous implementations.
- Updated `config.json` to adjust thresholds and settings for 福袋 detection and reservation handling.
- Improved logging and error handling across various modules for better monitoring and user experience.
- Introduced a new screenshot management module to facilitate real-time operation and success tracking.
- Enhanced GUI elements to support new configuration options and improve usability.
2025-12-20 20:11:28 +08:00

5.5 KiB
Raw Blame History

日志系统优化说明

概述

本次优化系统性地增强了现有行为日志系统,使其记录更详细、结构更清晰,并包含完整的调试上下文信息,以便快速定位和诊断程序运行中的问题。

主要改进

1. 创建增强的日志配置模块 (douyin_logger.py)

  • 标准 Python logging 集成:使用 Python 标准 logging 模块,提供更强大的日志管理能力
  • 日志级别管理:支持 DEBUG, INFO, WARNING, ERROR, CRITICAL 五个级别
  • 日志轮转:支持按大小(RotatingFileHandler)和时间(TimedRotatingFileHandler)自动轮转
  • 灵活的配置:从 config.json 读取配置,支持环境变量覆盖
  • 日志上下文管理器:提供 LogContext 类用于记录函数调用、参数、返回值、耗时等

2. 增强 _log_kv 方法 (douyin_fudai.py)

  • 集成标准 logging:在保持原有格式和功能的基础上,同时输出到标准 logging 系统
  • 自动异常堆栈记录:检测异常上下文并自动记录完整堆栈信息
  • 调用者信息:自动记录模块名、函数名、行号
  • 日志级别支持:通过 level 参数控制日志级别
  • 向后兼容:完全兼容现有的 _log_kv 调用方式

3. 配置文件更新 (config.json)

添加了日志配置选项:

"logging": {
    "level": "INFO",              // 日志级别:DEBUG, INFO, WARNING, ERROR, CRITICAL
    "file_path": "logs/unified.log",  // 日志文件路径
    "rotation": {
        "enabled": true,          // 是否启用日志轮转
        "max_bytes": 10485760,    // 按大小轮转:最大文件大小(字节)
        "backup_count": 5,        // 保留的备份文件数量
        "when": "midnight",       // 按时间轮转:轮转时间点
        "interval": 1            // 按时间轮转:间隔天数
    }
}

4. 日志格式优化

标准 logging 输出格式:

%(asctime)s - [%(levelname)s] - %(name)s:%(funcName)s:%(lineno)d - %(message)s

示例输出:

2025-01-20 10:30:45 - [INFO] - douyin:run_once_basic:910 - [截图] 截图+阶段诊断 stage=IN_LIVE_ROOM seen=直播间

5. 异常处理增强

  • 完整堆栈跟踪:所有异常都记录完整的堆栈信息
  • 异常上下文:自动检测并记录异常发生时的上下文信息
  • 错误级别:异常自动标记为 ERROR 级别

使用方法

基本使用

现有的 _log_kv 调用方式保持不变:

# 基本用法
self._log_kv("标签", "消息", field1=value1, field2=value2)

# 指定日志级别
self._log_kv("标签", "消息", level="DEBUG", field1=value1)

# 记录异常(自动包含堆栈)
try:
    # 某些操作
    pass
except Exception as e:
    self._log_kv("错误", "操作失败", error=str(e), level="ERROR", exc_info=sys.exc_info())

使用标准 logging

也可以直接使用标准 logging:

import douyin_logger

logger = douyin_logger.get_logger("douyin")
logger.debug("调试信息")
logger.info("一般信息")
logger.warning("警告信息")
logger.error("错误信息", exc_info=True)  # 包含异常堆栈

使用日志上下文管理器

记录函数调用的详细信息:

import douyin_logger

logger = douyin_logger.get_logger("douyin")

def my_function(arg1, arg2):
    with douyin_logger.LogContext(logger, "my_function", log_args=True, log_result=True):
        # 函数体
        result = arg1 + arg2
        return result

环境变量

可以通过环境变量动态调整日志级别(开发调试时使用):

# Windows
set DOUYIN_LOG_LEVEL=DEBUG

# Linux/Mac
export DOUYIN_LOG_LEVEL=DEBUG

日志文件位置

  • 默认路径:logs/unified.log
  • 可在 config.json 中通过 logging.file_path 配置
  • 日志轮转后的备份文件:logs/unified.log.2025-01-20 等

日志级别说明

  • DEBUG:详细的调试信息,包括函数调用、参数、返回值等
  • INFO:一般信息,程序正常运行的关键步骤
  • WARNING:警告信息,程序可以继续运行但可能存在潜在问题
  • ERROR:错误信息,程序遇到错误但可以继续运行
  • CRITICAL:严重错误,程序可能无法继续运行

最佳实践

  1. 关键操作:在关键业务逻辑处(如福袋识别、界面操作)记录详细日志
  2. 异常处理:所有异常都应该被捕获并记录,使用 level="ERROR" 和 exc_info=sys.exc_info()
  3. 性能监控:使用 _log_step_time 记录关键步骤的耗时
  4. 调试模式:开发调试时设置 DOUYIN_LOG_LEVEL=DEBUG 环境变量获取最详细信息
  5. 生产环境:生产环境建议使用 INFO 或 WARNING 级别,平衡性能与可观察性

注意事项

  1. 不要修改 fudai1.py:按照要求,未修改 原始代码/fudai1.py,所有增强都在 douyin_fudai.py 中实现
  2. 向后兼容:所有现有的 _log_kv 调用都保持兼容,无需修改
  3. 日志轮转:日志文件会自动轮转,避免单个文件过大
  4. 性能影响:标准 logging 的性能开销很小,但在高频调用时建议使用适当的日志级别

后续优化建议

  1. 结构化日志:考虑使用 JSON 格式的结构化日志,便于日志分析工具处理
  2. 日志聚合:对于分布式部署,可以考虑集成日志聚合服务(如 ELK、Loki 等)
  3. 性能指标:添加更多性能指标记录(如函数调用次数、平均耗时等)
  4. 日志过滤:添加日志过滤功能,可以根据标签、级别等条件过滤日志