当前位置：首页 > news >正文

日志体系详解

news 2026/4/22 0:01:30

日志体系详解

本章导读
日志是系统运行的"黑匣子"，承载着故障排查、性能分析、安全审计的关键数据。本章从日志规范制定到ELK Stack实战部署，全面讲解如何构建高效、可靠的日志体系，让每一次故障都能被快速定位和复盘。
学习目标：
目标1：掌握日志内容规范与结构化日志的最佳实践方法
目标2：理解ELK Stack架构原理及各组件职责分工
目标3：能够配置Logstash和Filebeat实现日志采集与处理管道
目标4：熟练运用Kibana进行日志查询、聚合分析与可视化
目标5：掌握敏感信息脱敏处理与日志安全规范
前置知识：了解日志基本概念，熟悉Linux系统操作，具备基本的数据分析能力
阅读时长：约 40 分钟

一、知识概述

日志是系统运行过程中产生的记录信息，是故障排查、性能分析、安全审计的重要数据来源。建立完善的日志体系，对于保障系统稳定运行至关重要。

1.1 日志体系架构

┌─────────────────────────────────────────────────────────────┐ │ 日志体系架构 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 数据采集层 │ │ ┌─────────────────────────────────────────────────┐ │ │ │ 应用日志 │ 系统日志 │ 访问日志 │ 审计日志 │ │ │ └─────┬─────┴─────┬─────┴─────┬─────┴─────┬─────┘ │ │ │ │ │ │ │ │ ▼ ▼ ▼ ▼ │ │ ┌─────────────────────────────────────────────────┐ │ │ │ 数据收集层 │ │ │ │ Filebeat / Fluentd / Logstash / Fluent Bit │ │ │ └─────────────────────┬───────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────┐ │ │ │ 消息队列（可选） │ │ │ │ Kafka / Redis │ │ │ └─────────────────────┬───────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────┐ │ │ │ 数据处理层 │ │ │ │ Logstash / Fluentd / Vector │ │ │ └─────────────────────┬───────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────┐ │ │ │ 存储层 │ │ │ │ Elasticsearch / ClickHouse / Loki │ │ │ └─────────────────────┬───────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────┐ │ │ │ 分析展示层 │ │ │ │ Kibana / Grafana Loki / Elastic UI │ │ │ └─────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────┘

1.2 日志类型与级别

┌─────────────────────────────────────────────────────────────┐ │ 日志类型与级别 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 日志类型： │ │ ┌─────────────┬─────────────────────────────────────┐ │ │ │ 应用日志 │ 业务逻辑、异常、调试信息 │ │ │ ├─────────────┼─────────────────────────────────────┤ │ │ │ 访问日志 │ HTTP请求、响应时间、状态码 │ │ │ ├─────────────┼─────────────────────────────────────┤ │ │ │ 错误日志 │ 异常堆栈、错误详情 │ │ │ ├─────────────┼─────────────────────────────────────┤ │ │ │ 审计日志 │ 用户操作、权限变更、敏感数据访问 │ │ │ ├─────────────┼─────────────────────────────────────┤ │ │ │ 性能日志 │ 慢查询、接口耗时、资源使用 │ │ │ └─────────────┴─────────────────────────────────────┘ │ │ │ │ 日志级别： │ │ ┌─────────────┬─────────────────────────────────────┐ │ │ │ TRACE │ 最详细的调试信息，生产环境关闭 │ │ │ ├─────────────┼─────────────────────────────────────┤ │ │ │ DEBUG │ 调试信息，开发测试环境使用 │ │ │ ├─────────────┼─────────────────────────────────────┤ │ │ │ INFO │ 重要业务流程信息 │ │ │ ├─────────────┼─────────────────────────────────────┤ │ │ │ WARN │ 警告信息，不影响系统运行 │ │ │ ├─────────────┼─────────────────────────────────────┤ │ │ │ ERROR │ 错误信息，需要关注和处理 │ │ │ ├─────────────┼─────────────────────────────────────┤ │ │ │ FATAL │ 严重错误，可能导致系统崩溃 │ │ │ └─────────────┴─────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────┘

1.3 ELK Stack架构

┌─────────────────────────────────────────────────────────────┐ │ ELK Stack 架构 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Beat │────▶│ Logstash │────▶│ ES │ │ │ │ (采集) │ │ (处理) │ │ (存储) │ │ │ └──────────┘ └──────────┘ └────┬─────┘ │ │ Filebeat 解析、过滤 │ │ │ Metricbeat 数据转换 │ │ │ Heartbeat │ │ │ ▼ │ │ ┌──────────┐ │ │ │ Kibana │ │ │ │ (展示) │ │ │ └──────────┘ │ │ 可视化、查询 │ │ │ │ 扩展架构： │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Beat │────▶│ Kafka │────▶│ Logstash │ │ │ └──────────┘ └──────────┘ └────┬─────┘ │ │ 缓冲、削峰 │ │ │ ▼ │ │ ┌──────────┐ │ │ │ ES │ │ │ └──────────┘ │ │ │ └─────────────────────────────────────────────────────────────┘

二、日志规范

2.1 日志内容规范

// ============================================// 日志规范示例// ============================================@Slf4j@ServicepublicclassOrderService{// ============================================// 好的日志示例// ============================================publicOrdercreateOrder(OrderRequestrequest){// 1. 记录关键操作的开始log.info("[创建订单] 开始处理, userId={}, productId={}, amount={}",request.getUserId(),request.getProductId(),request.getAmount());try{// 业务逻辑Orderorder=processOrder(request);// 2. 记录关键操作的成功结果log.info("[创建订单] 处理成功, orderId={}, userId={}, status={}",order.getId(),order.getUserId(),order.getStatus());returnorder;}catch(InventoryExceptione){// 3. 记录业务异常（包含上下文）log.warn("[创建订单] 库存不足, productId={}, requested={}, available={}",request.getProductId(),request.getQuantity(),e.getAvailableQuantity());thrownewBusinessException("库存不足");}catch(Exceptione){// 4. 记录系统异常（包含堆栈）log.error("[创建订单] 系统异常, userId={}, productId={}, error={}",request.getUserId(),request.getProductId(),e.getMessage(),e);thrownewSystemException("系统异常",e);}}// ============================================// 不好的日志示例（避免）// ============================================publicvoidbadExample(){// ❌ 信息不足log.info("处理订单");// ❌ 使用字符串拼接（性能差）log.info("用户 "+userId+" 创建订单 "+orderId);// ❌ 包含敏感信息log.info("用户登录, username={}, password={}",username,password);// ❌ 异常信息丢失try{// ...}catch(Exceptione){log.error("发生错误");// 没有记录异常堆栈}// ❌ 无意义的日志log.debug("进入方法");log.debug("退出方法");}}

2.2 结构化日志

// ============================================// 结构化日志配置 - Logback + Logstash// ============================================// pom.xml/* <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>7.4</version> </dependency> */// logback-spring.xml/* <?xml version="1.0" encoding="UTF-8"?> <configuration> <springProperty scope="context" source="spring.application.name"/> <springProperty scope="context" source="spring.profiles.active"/> <!-- 控制台输出 --> <appender> <encoder> <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern> </encoder> </appender> <!-- JSON格式输出（用于ELK） --> <appender> <file>logs/application.json</file> <rollingPolicy> <fileNamePattern>logs/application-%d{yyyy-MM-dd}.%i.json.gz</fileNamePattern> <maxFileSize>100MB</maxFileSize> <maxHistory>30</maxHistory> <totalSizeCap>10GB</totalSizeCap> </rollingPolicy> <encoder> <customFields>{"app_name":"${appName}","env":"${environment}"}</customFields> <includeMdcKeyName>traceId</includeMdcKeyName> <includeMdcKeyName>spanId</includeMdcKeyName> <includeMdcKeyName>userId</includeMdcKeyName> <fieldNames> <timestamp>timestamp</timestamp> <level>level</level> <logger>logger</logger> <thread>thread</thread> <message>message</message> <stackTrace>stack_trace</stackTrace> </fieldNames> </encoder> </appender> <!-- 异步输出 --> <appender> <queueSize>10000</queueSize> <discardingThreshold>0</discardingThreshold> <includeCallerData>false</includeCallerData> <appender-ref ref="JSON"/> </appender> <root level="INFO"> <appender-ref ref="CONSOLE"/> <appender-ref ref="ASYNC_JSON"/> </root> </configuration> */// ============================================// 使用MDC添加上下文信息// ============================================@ComponentpublicclassLogContextFilterimplementsWebFilter{@OverridepublicMono<Void>filter(ServerWebExchangeexchange,WebFilterChainchain){// 从请求头获取追踪IDStringtraceId=exchange.getRequest().getHeaders().getFirst("X-Trace-Id");if(traceId==null){traceId=UUID.randomUUID().toString().replace("-","");}StringuserId=exchange.getRequest().getHeaders(