【SpringCloud从入门到架构师】第12章 全链路追踪SkyWalking

1. 微服务调用链路混乱问题、链路追踪核心价值

微服务调用链路混乱的典型问题

1. 问题表现

• 调用路径不透明 ：请求在多个服务间流转时，无法直观查看完整路径
• 故障定位困难 ：异常发生时，难以快速确定是哪个服务、哪个环节出现问题
• 性能瓶颈模糊 ：系统整体变慢时，无法准确定位耗时最长的服务节点
• 依赖关系复杂 ：服务间调用关系形成复杂的网状结构，缺乏可视化展示

2. 根本原因

用户请求 → 网关 → 服务A → 服务B → 服务C → 数据库 ↓ ↓ 服务D ← 消息队列 ← 服务E

• 分布式调用缺乏全局视角
• 异步调用增加追踪复杂度
• 多版本服务共存增加混乱度

🎯 链路追踪的三大核心价值

1. 可观测性提升

价值体现： ├── 端到端可视化 │ ├── 完整调用链展示 │ ├── 服务依赖拓扑图 │ └── 实时流量监控 ├── 上下文传递 │ ├── TraceID全局标识 │ ├── SpanID层级关系 │ └── 业务上下文传递 └── 多维分析 ├── 耗时分布分析 ├── 错误率统计 └── 调用频次统计

2. 运维效率革命

故障定位: 从"小时级"降到"分钟级" - 传统方式: 逐台机器查日志，人工拼凑链路 - 链路追踪: 一键查看完整调用路径，自动标记异常节点 根因分析: 从猜测到精准定位 - 快速区分: 网络问题、服务异常、数据库瓶颈、缓存失效 - 依赖分析: 识别故障传播路径，防止级联故障

3. 业务价值深化

• 性能优化数据驱动

• 识别热点服务，针对性优化
• 分析慢调用模式，优化架构设计
• 容量规划依据：基于真实调用链路的资源评估

• 架构治理

• 识别循环调用、不合理依赖
• 监控服务SLA，保障服务质量
• 灰度发布验证：对比新旧版本性能

🛠️ 实施链路追踪的关键要素

1. Trace/Span模型

一次用户请求 = 一个Trace ├── Span1: 网关处理 (20ms) │ ├── Span2: 服务A查询 (15ms) │ │ ├── Span3: 数据库查询 (10ms) │ │ └── Span4: 缓存查询 (2ms) │ └── Span5: 服务B调用 (30ms) └── Span6: 响应组装 (5ms)

2. 数据采集维度

3. 主流技术选型

• OpenTelemetry ：标准化的可观测性框架
• Jaeger ：Uber开源的分布式追踪系统
• Zipkin ：Twitter开源的链路追踪工具
• SkyWalking ：国产APM系统，支持全链路追踪

📊 链路追踪的进阶应用场景

1. 性能剖析

# 示例：识别性能瓶颈 瓶颈分析流程： 1. 筛选P99延迟最高的Trace 2. 展开调用链，定位最长Span 3. 分析该Span的上下游依赖 4. 结合业务日志定位具体代码问题

2. 容量规划

• 基于调用链路的服务依赖强度评估
• 预测新增流量对各服务的影响
• 识别单点故障风险，优化部署策略

3. 故障演练

• 模拟特定服务延迟/失败
• 观察故障传播范围和影响
• 验证系统的容错能力和恢复机制

🚀 最佳实践建议

1. 渐进式实施

1. 从核心业务链路开始
2. 逐步覆盖所有微服务
3. 建立统一的Trace规范

1. 采样策略优化

1. 生产环境：1%-10%采样率
2. 关键业务：全量采样或高采样率
3. 开发环境：全量采样便于调试

1. 与日志、指标联动

可观测性三支柱联动： 链路追踪(Trace) ←关联→ 日志(Log) ←关联→ 指标(Metric) ↓ ↓ ↓ 调用路径分析 详细错误信息 性能趋势分析

1. 建立告警机制

1. 基于P95/P99延迟的异常告警
2. 错误率突增告警
3. 关键路径中断告警

💡 总结

链路追踪不仅是技术工具，更是分布式系统的导航系统 。它实现了：

• 从黑盒到白盒 ：让复杂的微服务调用变得透明可视
• 从被动到主动 ：提前发现潜在问题，而非事后救火
• 从局部到全局 ：建立系统级的整体认知，而非单点优化

真正的价值在于 ：当系统出现问题时，你不再需要问“发生了什么”，而是可以直接问“为什么发生，如何解决”。这种从现象到本质的能力提升，是微服务架构可持续发展的关键保障。

建议从OpenTelemetry标准开始，建立统一的观测体系，让链路追踪成为团队的基础设施，而非临时调试工具。

2. SkyWalking部署、微服务无侵入接入

一、SkyWalking 部署方案

架构概览

微服务应用 → SkyWalking Agent → OAP Server → Storage → UI

部署方式选择

方案一：Docker 部署（推荐）

# docker-compose.yml version: '3.8' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0 environment: - discovery.type=single-node - ES_JAVA_OPTS=-Xms512m -Xmx512m ports: - "9200:9200" networks: - skywalking oap: image: apache/skywalking-oap-server:9.2.0 depends_on: - elasticsearch environment: - SW_STORAGE=elasticsearch7 - SW_STORAGE_ES_CLUSTER_NODES=elasticsearch:9200 ports: - "11800:11800" # gRPC - "12800:12800" # HTTP networks: - skywalking ui: image: apache/skywalking-ui:9.2.0 depends_on: - oap environment: - SW_OAP_ADDRESS=oap:12800 ports: - "8080:8080" networks: - skywalking networks: skywalking: driver: bridge

方案二：Kubernetes 部署

# skywalking-values.yaml (Helm Chart) oap: image: repository: apache/skywalking-oap-server tag: 9.2.0 storageType: elasticsearch env: SW_STORAGE: elasticsearch7 SW_STORAGE_ES_CLUSTER_NODES: elasticsearch:9200 ui: image: repository: apache/skywalking-ui tag: 9.2.0 service: type: NodePort port: 8080 elasticsearch: enabled: true replicas: 1

存储选择

• Elasticsearch ：生产推荐，性能好，支持大数据量
• H2 ：仅用于测试
• MySQL/PostgreSQL/TiDB ：关系型数据库方案

二、微服务无侵入接入

Java 应用接入

方式一：JVM 参数方式（推荐）

# 启动命令添加参数 java -javaagent:/path/to/skywalking-agent.jar \ -Dskywalking.agent.service_name=your-service-name \ -Dskywalking.collector.backend_service=127.0.0.1:11800 \ -jar your-app.jar

方式二：环境变量方式

export SW_AGENT_NAME=your-service-name export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 export JAVA_OPTS="-javaagent:/path/to/skywalking-agent.jar" java $JAVA_OPTS -jar your-app.jar

Spring Boot 应用配置

application.yml

spring: application: name: user-service # SkyWalking 配置（可选，优先使用JVM参数） skywalking: agent: service_name: ${spring.application.name} collector: backend_service: ${SKYWALKING_COLLECTOR:127.0.0.1:11800} logging: level: INFO plugins: # 启用特定插件 springmvc-annotation-5.x: true mysql-8.x: true

Docker 容器接入

FROM openjdk:11-jre-slim # 复制 SkyWalking Agent COPY skywalking-agent /opt/skywalking-agent # 设置环境变量 ENV JAVA_OPTS="-javaagent:/opt/skywalking-agent/skywalking-agent.jar" ENV SW_AGENT_NAME="user-service" ENV SW_AGENT_COLLECTOR_BACKEND_SERVICES="skywalking-oap:11800" COPY target/app.jar /app.jar ENTRYPOINT ["sh", "-c", "java $JAVA_OPTS -jar /app.jar"]

Kubernetes 部署配置

Deployment YAML

apiVersion: apps/v1 kind: Deployment metadata: name: user-service spec: replicas: 2 selector: matchLabels: app: user-service template: metadata: labels: app: user-service spec: initContainers: - name: skywalking-agent image: busybox command: ['sh', '-c', 'cp -r /skywalking-agent/* /shared-agent/'] volumeMounts: - name: skywalking-agent-volume mountPath: /shared-agent containers: - name: app image: your-app:latest env: - name: SW_AGENT_NAME value: "user-service" - name: SW_AGENT_COLLECTOR_BACKEND_SERVICES value: "skywalking-oap.skywalking:11800" - name: JAVA_TOOL_OPTIONS value: "-javaagent:/skywalking-agent/skywalking-agent.jar" volumeMounts: - name: skywalking-agent-volume mountPath: /skywalking-agent volumes: - name: skywalking-agent-volume emptyDir: {} --- # 使用 ConfigMap 存储 Agent apiVersion: v1 kind: ConfigMap metadata: name: skywalking-agent-config data: agent.config: | agent.service_name=${SW_AGENT_NAME:your-service} collector.backend_service=${SW_AGENT_COLLECTOR_BACKEND_SERVICES:127.0.0.1:11800} logging.level=${SW_LOGGING_LEVEL:INFO}

Agent 高级配置

agent.config 配置文件

# 基础配置 agent.service_name=${SW_AGENT_NAME:Your_ApplicationName} collector.backend_service=${SW_AGENT_COLLECTOR_BACKEND_SERVICES:127.0.0.1:11800} # 采样率配置 agent.sample_n_per_3_secs=${SW_AGENT_SAMPLE:-1} # -1 表示全部采样 agent.force_sample_error=${SW_AGENT_FORCE_SAMPLE_ERROR:true} # 日志配置 logging.level=${SW_LOGGING_LEVEL:INFO} logging.file_name=skywalking-api.log logging.dir=/logs # 插件配置 plugin.mount=plugins,activations plugin.exclude_plugins=jdk-threading,spring-annotation # 忽略路径 plugin.trace.ignore_path=${SW_AGENT_TRACE_IGNORE_PATH:/eureka/**} # 跨进程传播配置 plugin.toolkit.trace.grpc.channel.check_interval=2 plugin.toolkit.trace.grpc.channel.timeout=30

性能优化配置

JVM 参数优化

# 生产环境建议配置 java -javaagent:/path/to/skywalking-agent.jar \ -Dskywalking.agent.service_name=your-service \ -Dskywalking.collector.backend_service=127.0.0.1:11800 \ -Dskywalking.agent.sample_n_per_3_secs=1000 \ # 采样率控制 -Dskywalking.logging.level=WARN \ # 生产环境调高日志级别 -Dskywalking.agent.authentication=your-token \ # 安全认证 -XX:+UseG1GC \ -Xmx2g \ -Xms2g \ -jar your-app.jar

监控项配置

自定义追踪点

// 手动埋点示例 import org.apache.skywalking.apm.toolkit.trace.ActiveSpan; import org.apache.skywalking.apm.toolkit.trace.Trace; import org.apache.skywalking.apm.toolkit.trace.TraceContext; @Trace(operationName = "customOperation") public void customMethod() { // 添加标签 ActiveSpan.tag("key", "value"); // 记录日志 ActiveSpan.info("Custom log message"); // 获取Trace ID String traceId = TraceContext.traceId(); }

三、验证和调试

健康检查

# 检查 OAP 服务 curl http://localhost:12800 # 检查 Elasticsearch curl http://localhost:9200/_cluster/health # 检查 UI curl http://localhost:8080

日志查看

# 查看 Agent 日志 tail -f /logs/skywalking-api.log # 查看 OAP 日志 docker logs skywalking-oap # 调试模式启动 -Dskywalking.agent.logging.level=DEBUG

常见问题排查

Agent 无法连接 OAP

1. 检查网络连通性
2. 验证端口 11800 是否开放
3. 检查防火墙设置

数据不显示

1. 确认采样率配置
2. 检查存储服务状态
3. 验证服务名称配置

四、生产环境建议

1. 高可用部署 ：OAP 集群 + 负载均衡
2. 存储分离 ：使用外部 Elasticsearch 集群
3. 安全配置 ：启用认证和 TLS
4. 资源限制 ：合理配置 JVM 内存
5. 监控告警 ：集成 Prometheus + AlertManager
6. 版本管理 ：保持 Agent 和 OAP 版本一致

五、最佳实践

1. 命名规范 ：服务名使用业务组-应用名-环境
2. 标签标准化 ：统一标签命名规范
3. 采样策略 ：生产环境合理设置采样率
4. 日志聚合 ：与业务日志分离存储
5. 定期维护 ：清理过期追踪数据

这种无侵入接入方式让微服务无需修改代码即可获得完整的可观测性能力，大大降低了接入成本。

3. 调用链路查看、耗时分析、异常定位、依赖拓扑

一、调用链路查看（Trace）

1. 入口位置

• Web UI :Trace菜单
• 查询方式 ：

• Service/Endpoint/Instance名称
• Trace ID
• 时间范围筛选
• 状态（成功/失败）
• 耗时阈值过滤

2. 链路详情查看

{ "trace_id": "trace-id-123", "spans": [ { "operation_name": "/api/users", "start_time": "2024-01-01T10:00:00Z", "duration": 150, "component": "SpringMVC", "tags": { "http.method": "GET", "http.status_code": "200" }, "logs": ["Request received", "Response sent"] } ] }

3. 关键信息

• Span层级关系 ：父子关系展示
• 时间轴视图 ：直观展示各环节耗时
• 跨服务追踪 ：微服务间的调用关系
• 数据库调用 ：SQL语句和执行时间

二、耗时分析（Performance Analysis）

1. 服务级别耗时

• Dashboard → Service 页面
• 关键指标 ：

• 平均响应时间（Avg Response Time）
• 95/99分位响应时间（P95/P99）
• 吞吐量（Throughput - CPM）
• SLA（服务等级协议）

2. 端点级别耗时

• Service → Endpoint 页面
• 分析特定API的：

• 慢查询列表（Top N slow endpoints）
• 耗时趋势图
• 错误率变化

3. 实例级别耗时

• 对比同一服务的不同实例性能
• 识别异常实例

4. 耗时分解

-- SkyWalking自动收集的耗时数据 端点A总耗时 = 自身处理时间 + 下游调用时间 下游调用 = 服务B调用 + 服务C调用 + 数据库调用

三、异常定位（Troubleshooting）

1. 错误识别

• 红色标记 ：链路图中的失败请求
• 错误率图表 ：服务/端点错误率趋势
• 错误日志关联 ：Span中的error logs

2. 异常追踪

• 错误链路回放 ：查看失败请求的完整路径
• 异常堆栈 ：在Span Logs中查看异常信息
• HTTP状态码 ：4xx/5xx错误统计

3. 告警关联

• 告警列表 ：Alarm页面查看触发告警
• 告警规则 ：

rules: - name: endpoint_response_time_rule expression: endpoint_avg_response_time > 1000 period: 10

4. 日志关联

• Log 菜单：查看详细日志
• Trace ID注入 ：通过Trace ID关联业务日志
• 关键字搜索 ：按错误信息搜索

四、依赖拓扑（Topology）

1. 拓扑图查看

• Topology 菜单
• 实时依赖关系 ：服务间调用关系可视化
• 流量指标 ：

• 调用次数（CPM）
• 平均响应时间
• SLA状态

2. 依赖分析

• 上游依赖 ：谁调用了当前服务
• 下游依赖 ：当前服务调用了谁
• 数据库依赖 ：服务与数据库的关系
• 中间件依赖 ：Redis、MQ等

3. 拓扑图功能

• 缩放和拖拽 ：自由查看
• 节点详情 ：点击节点查看服务详情
• 边详情 ：点击连线查看调用详情
• 时间选择 ：查看历史拓扑状态

4. 依赖健康度

• 颜色标识 ：

• 绿色：健康（SLA > 99%）
• 黄色：警告（95% < SLA < 99%）
• 红色：异常（SLA < 95%）

• 流量异常检测 ：突增/突降识别

五、实战排查流程

场景：API响应慢

1. 定位入口 ：

拓扑图 → 发现服务A SLA下降 → 进入服务详情

1. 耗时分析 ：

服务详情 → Endpoint列表 → 找到慢接口 → 查看耗时趋势

1. 链路追踪 ：

Trace查询 → 筛选慢请求 → 查看完整调用链

1. 问题定位 ：

分析Span → 发现数据库查询慢 → 查看SQL详情

1. 依赖检查 ：

查看服务依赖 → 确认下游服务状态 → 检查网络延迟

六、高级功能

1. 对比分析

• 时间对比：同比/环比分析
• 版本对比：不同版本性能对比
• 实例对比：不同Pod/主机性能差异

2. 自定义查询

-- OAL（Observability Analysis Language）示例 service_success_rate = from(Service.*) .filter(status == true) .percent();

3. 集成告警

• 支持WebHook、钉钉、微信、邮件
• 自定义告警规则
• 告警历史记录

4. Profile分析 （高级版）

• 线程堆栈采样
• 方法级耗时分析
• CPU/内存热点识别

七、最佳实践

1. 命名规范 ：

1. 服务名：业务-应用名
2. 端点：HTTP_METHOD:/api/path
3. 实例：host:port

1. 标签使用 ：

// 添加业务标签 ActiveSpan.tag("user_id", "123"); ActiveSpan.tag("order_type", "VIP");

1. 监控策略 ：

1. 关键业务接口设置独立告警
2. 核心依赖服务重点监控
3. 定期Review拓扑变化

1. 团队协作 ：

1. Trace ID传递到日志系统
2. 建立OnCall响应机制
3. 定期性能分析报告

八、常用命令和API

Web UI操作：

监控策略 ： 关键业务接口设置独立告警 核心依赖服务重点监控 定期Review拓扑变化 团队协作 ： Trace ID传递到日志系统 建立OnCall响应机制 定期性能分析报告 八、常用命令和API Web UI操作：

REST API：

# 查询Trace GET /api/trace/{traceId} # 查询拓扑 GET /api/topology # 查询服务指标 GET /api/metrics/service

通过以上功能组合使用，SkyWalking能够提供完整的可观测性解决方案，帮助团队快速定位性能问题和系统异常。

4. 自定义链路埋点、业务日志关联追踪

一、自定义链路埋点

1. 手动埋点（Tracing API）

Java示例：

import org.apache.skywalking.apm.toolkit.trace.*; import org.apache.skywalking.apm.toolkit.trace.TraceContext; // 1. 方法级别追踪 @Trace(operationName = "processOrder") public void processOrder(Order order) { // 业务逻辑 try { // 2. 创建跨度 ActiveSpan.tag("orderId", order.getId()); ActiveSpan.tag("amount", String.valueOf(order.getAmount())); // 3. 记录事件 ActiveSpan.info("开始处理订单"); // 业务逻辑... // 4. 记录错误 if (error) { ActiveSpan.error(new RuntimeException("处理失败")); } // 5. 记录日志（关联TraceId） logger.info("订单处理完成, traceId: {}", TraceContext.traceId()); } catch (Exception e) { ActiveSpan.error(e); throw e; } } // 6. 异步追踪 @TraceCrossThread public CompletableFuture<Void> asyncProcess() { return CompletableFuture.runAsync(() -> { ActiveSpan.tag("async", "true"); // 异步逻辑 }); }

Spring Boot配置：

# application.yml spring: application: name: order-service logging: pattern: level: "%5p [%X{tid}]" # SkyWalking Agent配置 agent: service_name: ${spring.application.name} collector: backend_service: localhost:11800 logging: level: DEBUG

2. 注解方式埋点

import org.apache.skywalking.apm.toolkit.trace.*; // 自定义注解 @Target({ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) public @interface BusinessTrace { String value() default ""; } // 注解切面 @Aspect @Component public class TraceAspect { @Around("@annotation(businessTrace)") public Object around(ProceedingJoinPoint joinPoint, BusinessTrace businessTrace) throws Throwable { String operationName = businessTrace.value(); if (StringUtils.isEmpty(operationName)) { operationName = joinPoint.getSignature().getName(); } // 创建本地跨度 Tracer.createLocalSpan(operationName); try { // 添加自定义标签 ActiveSpan.tag("class", joinPoint.getTarget().getClass().getName()); ActiveSpan.tag("method", joinPoint.getSignature().getName()); // 执行原方法 return joinPoint.proceed(); } catch (Exception e) { ActiveSpan.error(e); throw e; } finally { Tracer.stopSpan(); } } } // 使用注解 @Service public class OrderService { @BusinessTrace("创建订单") public Order createOrder(OrderDTO dto) { // 业务逻辑 ActiveSpan.tag("userId", dto.getUserId()); return orderRepository.save(convert(dto)); } }

3. OpenTracing API集成

import io.opentracing.*; import io.opentracing.tag.Tags; @Configuration public class TracingConfig { @Bean public Tracer tracer() { // SkyWalking通过agent自动提供Tracer return GlobalTracer.get(); } } @Service public class PaymentService { @Autowired private Tracer tracer; public PaymentResult pay(PaymentRequest request) { // 创建自定义跨度 Span span = tracer.buildSpan("payment.process") .withTag("paymentType", request.getType()) .withTag("amount", request.getAmount()) .start(); try (Scope scope = tracer.activateSpan(span)) { // 业务逻辑 span.log(ImmutableMap.of("event", "payment_started")); // 调用外部服务 callBankGateway(request, span); span.log(ImmutableMap.of("event", "payment_completed")); return new PaymentResult(true); } catch (Exception e) { Tags.ERROR.set(span, true); span.log(ImmutableMap.of("error", e.getMessage())); throw e; } finally { span.finish(); } } private void callBankGateway(PaymentRequest request, Span parentSpan) { Span span = tracer.buildSpan("bank.gateway.call") .asChildOf(parentSpan) .start(); try { // 添加HTTP头传递Trace信息 HttpHeaders headers = new HttpHeaders(); tracer.inject(span.context(), Format.Builtin.HTTP_HEADERS, new HttpHeadersCarrier(headers)); // 调用HTTP服务 restTemplate.exchange("...", HttpMethod.POST, new HttpEntity<>(request, headers), String.class); } finally { span.finish(); } } }

二、业务日志关联追踪

1. Logback配置

<!-- logback-spring.xml --> <configuration> <!-- SkyWalking的日志组件 --> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder"> <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout"> <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} - %msg%n</pattern> </layout> </encoder> </appender> <!-- 文件输出，包含TraceId --> <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>logs/app.log</file> <encoder> <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} - %msg%n</pattern> </encoder> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern>logs/app.%d{yyyy-MM-dd}.log</fileNamePattern> <maxHistory>30</maxHistory> </rollingPolicy> </appender> <!-- 异步日志 --> <appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender"> <appender-ref ref="FILE"/> <includeCallerData>true</includeCallerData> </appender> <root level="INFO"> <appender-ref ref="STDOUT"/> <appender-ref ref="ASYNC"/> </root> </configuration>

2. Log4j2配置

<!-- log4j2-spring.xml --> <?xml version="1.0" encoding="UTF-8"?> <Configuration> <Appenders> <Console name="Console" target="SYSTEM_OUT"> <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%t] %-5p %c{1.} - %msg%n"/> </Console> <RollingFile name="File" fileName="logs/app.log" filePattern="logs/app-%d{yyyy-MM-dd}-%i.log"> <PatternLayout> <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%t] %-5p %c{1.} - %msg%n</pattern> </PatternLayout> <Policies> <TimeBasedTriggeringPolicy/> <SizeBasedTriggeringPolicy size="100MB"/> </Policies> <DefaultRolloverStrategy max="30"/> </RollingFile> </Appenders> <Loggers> <Root level="info"> <AppenderRef ref="Console"/> <AppenderRef ref="File"/> </Root> </Loggers> </Configuration>

3. 自定义MDC拦截器

@Component public class TraceIdInterceptor implements HandlerInterceptor { @Override public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) { // 从请求头获取TraceId，或生成新的 String traceId = request.getHeader("X-Trace-Id"); if (StringUtils.isEmpty(traceId)) { traceId = TraceContext.traceId(); } // 设置到MDC中 MDC.put("traceId", traceId); MDC.put("spanId", TraceContext.spanId()); MDC.put("segmentId", TraceContext.segmentId()); // 添加业务自定义字段 MDC.put("userId", getUserIdFromRequest(request)); MDC.put("requestId", UUID.randomUUID().toString()); return true; } @Override public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) { // 清理MDC MDC.clear(); } } // 注册拦截器 @Configuration public class WebConfig implements WebMvcConfigurer { @Override public void addInterceptors(InterceptorRegistry registry) { registry.addInterceptor(new TraceIdInterceptor()); } }

4. 业务日志与链路关联

@Service @Slf4j public class OrderService { public Order createOrder(OrderRequest request) { // 1. 记录业务开始日志（自动包含TraceId） log.info("开始创建订单，用户: {}, 金额: {}", request.getUserId(), request.getAmount()); // 2. 创建业务跨度 Tracer.createLocalSpan("order.create"); try { ActiveSpan.tag("userId", request.getUserId()); ActiveSpan.tag("orderType", request.getType()); // 3. 关键业务步骤日志 log.info("校验订单信息"); validateOrder(request); log.info("计算订单金额"); BigDecimal amount = calculateAmount(request); ActiveSpan.tag("finalAmount", amount.toString()); log.info("保存订单到数据库"); Order order = saveOrder(request, amount); // 4. 异步操作记录 CompletableFuture.runAsync(() -> { // 异步任务中也能获取TraceId log.info("异步发送订单通知"); sendNotification(order); }); log.info("订单创建成功，订单号: {}", order.getOrderNo()); return order; } catch (BusinessException e) { // 5. 业务异常日志 log.error("创建订单业务异常: {}", e.getErrorCode(), e); ActiveSpan.error(e); throw e; } catch (Exception e) { log.error("创建订单系统异常", e); ActiveSpan.error(e); throw e; } finally { Tracer.stopSpan(); } } // 6. 关键业务方法 @Trace(operationName = "order.validate") private void validateOrder(OrderRequest request) { log.debug("校验用户信息: {}", request.getUserId()); // 校验逻辑 // 7. 添加业务指标 ActiveSpan.tag("validation.passed", "true"); Metrics.counter("order.validation.success").increment(); } }

5. 日志采样与过滤

@Configuration public class LogSamplingConfig { @Bean public FilterRegistrationBean<LogSamplingFilter> logSamplingFilter() { FilterRegistrationBean<LogSamplingFilter> registration = new FilterRegistrationBean<>(); registration.setFilter(new LogSamplingFilter()); registration.addUrlPatterns("/*"); return registration; } static class LogSamplingFilter implements Filter { // 采样率配置 private static final double SAMPLING_RATE = 0.1; @Override public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException { HttpServletRequest httpRequest = (HttpServletRequest) request; // 根据采样率决定是否记录详细日志 boolean shouldLogDetail = Math.random() < SAMPLING_RATE; MDC.put("logDetail", String.valueOf(shouldLogDetail)); if (shouldLogDetail) { // 记录请求体等详细信息 logRequestDetails(httpRequest); } chain.doFilter(request, response); } } }

6. 日志聚合配置

# ELK集成配置 spring: elasticsearch: uris: http://localhost:9200 logging: logstash: enabled: true host: localhost port: 5000 queue-size: 512

三、最佳实践建议

1. 埋点策略

• 关键路径埋点 ：核心业务流程必须埋点
• 异常路径埋点 ：错误处理流程需要埋点
• 外部调用埋点 ：所有外部服务调用都需要追踪
• 耗时操作埋点 ：超过100ms的操作需要单独监控

2. 日志规范

// 好的日志实践 log.info("[ORDER_CREATE] 用户:{}, 金额:{}, 结果:{}", userId, amount, "SUCCESS"); log.error("[ORDER_CREATE_FAIL] 错误码:{}, 原因:{}", errorCode, errorMsg, exception); // 避免的日志 log.info("处理订单"); // 太模糊 log.info("userId=" + userId); // 字符串拼接

3. 监控告警集成

// 自定义监控指标 @Trace(operationName = "business.metrics") public void recordBusinessMetrics(String businessType, String status, long duration) { // 记录到SkyWalking ActiveSpan.tag("business.type", businessType); ActiveSpan.tag("business.status", status); ActiveSpan.tag("duration.ms", String.valueOf(duration)); // 同时记录到指标系统 Metrics.timer("business." + businessType) .record(duration, TimeUnit.MILLISECONDS); if ("FAILED".equals(status)) { Metrics.counter("business.error." + businessType).increment(); } }

4. 配置文件示例

# agent.config agent.service_name=${SW_AGENT_NAME:order-service} agent.sample_n_per_3_secs=${SW_AGENT_SAMPLE:1000} agent.force_sample_error_span=${SW_FORCE_SAMPLE_ERROR:true} agent.ignore_suffix=${SW_AGENT_IGNORE_SUFFIX:.jpg,.jpeg,.png,.gif,.css,.js} plugin.toolkit.log.grpc.reporter.server_host=${SW_GRPC_LOG_HOST:localhost} plugin.toolkit.log.grpc.reporter.server_port=${SW_GRPC_LOG_PORT:11800} plugin.toolkit.log.grpc.reporter.max_message_size=${SW_GRPC_LOG_MAX_SIZE:10485760}

四、验证与调试

1. 本地调试

# 启动应用时附加SkyWalking Agent java -javaagent:/path/to/skywalking-agent.jar \ -Dskywalking.agent.service_name=your-service \ -Dskywalking.collector.backend_service=localhost:11800 \ -jar your-app.jar

2. 日志验证

检查日志输出是否包含TraceId：

2024-01-15 10:30:00.123 [TID:1234567890abc] [http-nio-8080-exec-1] INFO c.e.OrderService - 开始创建订单

3. SkyWalking UI查看

访问 ​​http://localhost:8080​​ 查看：

• 完整的调用链路
• 业务日志与Trace的关联
• 自定义标签和指标

这样的配置可以实现完整的业务追踪能力，帮助快速定位问题和分析业务性能。