slow disk / slow net / slow request / term
你这个关键词其实是在问：如何从 etcd 日志里识别 slow disk / slow net / slow request 的表现，这是排查 etcd 频繁选举、延迟、抖动的关键。
我给你按“日志特征 + 含义 + 根因”直接整理一套实战版。
一、etcd 三类 slow 日志长什么样
1️⃣ Disk slow（磁盘慢 / WAL fsync 慢）
典型日志：
apply entries took too long (2.3s) to commit
took too long (3.1s) to apply request
wal: sync duration exceeded
snapshotting is taking too long
👉 含义
-
WAL fsync 慢
-
snapshot 卡住
-
raft apply 延迟
👉 本质问题
etcd 写盘慢（最致命）
2️⃣ Net slow（网络慢 / peer 延迟）
典型日志：
request took too long (2.5s) to execute
failed to send out heartbeat on time
peer round trip error / timeout
rafthttp: slow network detected
👉 含义
-
follower 收不到 leader heartbeat
-
raft 消息延迟
-
election timeout 被触发
👉 本质问题
网络 RTT 抖动 / 丢包 / CNI 问题
3️⃣ Request slow（请求慢 / apply 慢）
典型日志：
apply request took 1.8s
propose took too long
server is likely overloaded
👉 含义
-
etcd 本身 CPU 忙
-
raft log apply 堵塞
-
写入延迟
二、三种 slow 的关系（很关键）
可以简单理解：
Disk slow → 写 WAL / snapshot 慢↓
Request slow → apply 堵塞↓
Net slow → heartbeat 延迟 → 触发选举
👉 很多 etcd 选举问题根因其实是：
disk slow → net slow → election timeout
三、如何快速在日志里抓关键 slow
1️⃣ 一键 grep（最实用）
grep -E "slow|took too long|timeout|heartbeat|wal|snapshot" /var/log/messages
或 systemd：
journalctl -u etcd | grep -E "slow|timeout|wal|snapshot|heartbeat"
2️⃣ 重点信号（必须盯）
🚨 高危信号
apply entries took too long
rafthttp: slow network
failed to send heartbeat
wal fsync duration exceeded
四、对应根因（实战判断）
🥇 disk slow（最常见）
原因：
-
云盘 IO burst 不够
-
SSD 延迟高
-
RAID 卡缓存问题
-
Kubernetes node IO 打满
检查：
iostat -x 1
重点看：
-
%util接近 100% -
await > 10ms（严重）
🥈 net slow
原因：
-
CNI 抖动（flannel/calico）
-
跨 AZ
-
丢包
-
CPU 抢占
检查：
ping peer-node
mtr peer-node
🥉 request slow（CPU问题）
原因：
-
Go GC pause
-
CPU throttling（K8s 常见）
-
etcd 写入过高
检查：
top -H -p $(pidof etcd)
五、和你前面的问题的关系（重点）
你前面已经出现：
-
etcd 频繁选举
-
conntrack / K8s 网络环境
-
pod 生命周期短
👉 非常典型组合：
net slow + disk slow → election churn
六、最关键判断口诀（很实用）
看 etcd slow：
-
disk slow → IO 问题
-
net slow → 网络/CNI问题
-
request slow → CPU/负载问题
七、如果你要快速定位（建议你做这个）
直接跑三条（最有效）：
journalctl -u etcd | grep slow | tail -n 50
iostat -x 1 5
etcdctl endpoint status -w table
八、总结一句话
👉 etcd slow 日志本质不是“日志问题”，而是：
disk / network / CPU 三选一或叠加问题
如果你愿意，可以把你的一段 etcd slow 日志贴出来，我可以帮你直接判断是：
-
IO 卡死
-
网络抖动
-
还是 CPU GC 导致的 election churn（这个最隐蔽）