Raft 混沌演练没复现预期：一次只注入一个故障变量

Raft 混沌演练没复现预期：一次只注入一个故障变量

Raft 混沌演练一次只注入一种故障。网络丢包、磁盘延迟与人工切主同时发生时，日志再丰富也很难把结果归因到某个变量。

从一个变量开始

先只注入一种故障，例如限定范围内的网络延迟或 WAL 写入延迟，并记录注入起止时间。确认心跳周期、选举超时和 fsync 路径后，再加入第二个变量。AI 告警或根因模块应当只读观测结果，不能在演练期间自动发起TimeoutNow或切主操作。

证据要能相互印证

排查选主频繁时，至少对齐三类信号：Raft 日志中的 term、角色和 commit index；服务端的请求延迟与错误；磁盘或网络层的等待。单看 CPU 或单条告警不足以判断节点“失联”。eBPF 跟踪也要限定探针、采样率和持续时间，避免观测本身干扰负载。

把诊断建议降级为候选项

AI 可以把跨节点日志聚合为候选链路，例如“落盘变慢后出现心跳超时”。它应同时给出原始日志位置、时间窗口和不确定性；切主、调大超时或降级写入仍由预先定义的操作流程决定。

def classify_election(term_changes: int, fsync_ms: float, heartbeat_ms: float) -> str: if term_changes > 1 and fsync_ms > heartbeat_ms: return "需要核查 WAL 等待与心跳线程是否互相阻塞" if term_changes > 1: return "需要核查网络、时钟和选举超时配置" return "证据不足，继续收集状态机与系统层信号"

复盘的产物

一份有用的演练记录应包括：假设、注入参数、版本与拓扑、原始证据、结论以及无法解释的部分。最后把恢复条件和停止条件写进下一次实验计划；没有复现预期问题时，也要记录已排除条件和实验边界。