"""统一日志配置。 业务代码用 `logger = logging.getLogger("shagua.xxx")` 即可, 本模块在 main.py 启动时调一次。 - 控制台(stdout): 人类可读文本, 给 systemd / 本地看; 有 trace 时行尾附 `trace=xxx`。 - 文件 `logs/app-server.log`: 单行 JSON, 供**阿里云 SLS / Logtail** 采集(JSON 模式零正则); 异常栈内嵌为字段不换行 → 每条日志一行。 - **结构化字段(SLS 可直接查/聚合)**: - `trace_id`: 请求级贯穿——在入口 `trace_id_ctx.set(...)` 后, 本请求内**每一行日志**(含 run_in_threadpool 里的 harvest, contextvars 自动拷进线程)都自动带上, 无需手写。 SLS 里 `trace_id: "xxx"` 一查即得整条比价链路, 按 time 升序即请求顺序。 - 任意 `logger.info(msg, extra={"phase": ..., "step": ..., "command": ...})` 的 extra 键都会平铺进 JSON 顶层 → SLS 可按 phase/step/command/cost_ms 等过滤聚合。 - 环境变量: - LOG_JSON_CONSOLE=1 控制台也输出 JSON - LOG_DIR / LOG_FILE 改落盘路径(默认 logs/app-server.log) ⚠️ admin 子进程(app.admin.main, 独立进程)应设不同 LOG_FILE, 避免与主进程争抢同一轮转文件 - LOG_SERVICE_NAME JSON 里的 service 字段(默认 app-server) """ from __future__ import annotations import json import logging import os import sys from contextvars import ContextVar from datetime import datetime from logging.handlers import RotatingFileHandler from pathlib import Path # 请求级 trace_id:入口(如 compare.py 透传壳)set 之后, 本请求上下文(含 run_in_threadpool # 拷贝出去的线程)内所有日志自动带上。默认空串 = 非请求上下文(启动/后台 worker)。 trace_id_ctx: ContextVar[str] = ContextVar("trace_id", default="") # 标准 LogRecord 属性 + 格式化期附加项:凡不在此集合的 record 属性都视为业务 extra, 平铺进 JSON。 _RESERVED = set( logging.LogRecord("", 0, "", 0, "", (), None).__dict__ ) | {"message", "asctime", "trace_id", "taskName"} class _ContextFilter(logging.Filter): """把 trace_id_ctx 注入每条 record(供两个 formatter 取用)。挂在 handler 上, 命中每条(含 propagate 上来的)记录, 在 format 之前置好 record.trace_id。""" def filter(self, record: logging.LogRecord) -> bool: if not hasattr(record, "trace_id"): record.trace_id = trace_id_ctx.get() return True class JsonFormatter(logging.Formatter): """LogRecord → 单行 JSON(SLS/Logtail 友好)。trace_id 提到顶层、extra 键平铺, 异常栈内嵌。""" def __init__(self, service: str = "app-server"): super().__init__() self.service = service def format(self, record: logging.LogRecord) -> str: dt = datetime.fromtimestamp(record.created) data = { "time": dt.strftime("%Y-%m-%dT%H:%M:%S.") + f"{int(record.msecs):03d}", "level": record.levelname, "service": self.service, "logger": record.name, } tid = getattr(record, "trace_id", "") or trace_id_ctx.get() if tid: data["trace_id"] = tid # 业务 extra 字段(phase / step / endpoint / command / cost_ms / status ...)平铺进顶层 for k, v in record.__dict__.items(): if k not in _RESERVED and not k.startswith("_"): data[k] = v data["func"] = record.funcName data["line"] = record.lineno data["message"] = record.getMessage() if record.exc_info: data["exception"] = self.formatException(record.exc_info) if record.stack_info: data["stack"] = self.formatStack(record.stack_info) return json.dumps(data, ensure_ascii=False, default=str) class TextFormatter(logging.Formatter): """控制台文本:标准行 + 有 trace_id 时行尾附 `trace=xxx`(无 trace 的启动/后台日志不加噪)。""" def format(self, record: logging.LogRecord) -> str: base = super().format(record) tid = getattr(record, "trace_id", "") or trace_id_ctx.get() return f"{base} trace={tid}" if tid else base _CONFIGURED = False def setup_logging(debug: bool = False) -> None: global _CONFIGURED if _CONFIGURED: return level = logging.DEBUG if debug else logging.INFO service = os.getenv("LOG_SERVICE_NAME", "app-server") root = logging.getLogger() root.setLevel(level) # 清掉 basicConfig/uvicorn 可能预置的 root handler, 避免重复输出 for h in list(root.handlers): root.removeHandler(h) ctx_filter = _ContextFilter() # 控制台: 默认文本(systemd/本地看); LOG_JSON_CONSOLE=1 时输出 JSON console = logging.StreamHandler(sys.stdout) if os.getenv("LOG_JSON_CONSOLE") == "1": console.setFormatter(JsonFormatter(service)) else: console.setFormatter( TextFormatter("%(asctime)s %(levelname)s %(name)s: %(message)s") ) console.addFilter(ctx_filter) root.addHandler(console) # 文件: 单行 JSON, 供 Logtail 采集(自动轮转, 单文件 10MB, 保留 5 个) log_file = os.getenv("LOG_FILE") or str( Path(os.getenv("LOG_DIR", "logs")) / "app-server.log" ) Path(log_file).parent.mkdir(parents=True, exist_ok=True) file_handler = RotatingFileHandler( log_file, maxBytes=10 * 1024 * 1024, backupCount=5, encoding="utf-8", ) file_handler.setFormatter(JsonFormatter(service)) file_handler.addFilter(ctx_filter) root.addHandler(file_handler) # 第三方库降噪 logging.getLogger("httpx").setLevel(logging.WARNING) logging.getLogger("httpcore").setLevel(logging.WARNING) # uvicorn --reload 的文件监视器: DEBUG 下会把每次"检测到变更"打出来。我们的 root 文件 # handler 又把这行写回 logs/app-server.log → watchfiles 再次检测 → 自我喂食死循环。 # 降到 WARNING 同时消除噪音和这个回环(真正的 .py 热重载不受影响)。 logging.getLogger("watchfiles").setLevel(logging.WARNING) _CONFIGURED = True