无界等待：系统故障的隐形杀手

在分布式系统中，延迟比错误更易引发系统故障。一次事件中，默认的无界等待悄然耗尽系统处理能力，造成巨大损失。本文将深入剖析这一问题及应对策略。

缓慢演变为故障

事件始于支持工单，产品页面加载慢、结账流程卡顿。仪表盘显示 CPU 使用率上升、内存压力增大，但错误率低。回滚部署无效，几小时内产品页面放弃率上升、转化率下降，造成六位数损失，用户信任度降低。

被忽视的故障模式

产品服务调用的货币兑换 API 间歇性变慢，其使用的 HTTP 客户端默认超时时间无限。前端浏览器 30 秒停止等待，后端请求仍继续。挂起的调用占用资源，导致新请求排队，最终使整个服务瘫痪。

默认设置的潜在影响

许多库和系统默认采用无限或极长的超时时间，如 Java、Python 的 HTTP 客户端。这些默认设置在开发时看似无害，但在生产环境中会影响架构决策，导致系统出现容量故障。

长时间超时的思维模式

团队常假设依赖服务快、缓慢情况少见，优先考虑单个请求成功，却牺牲了系统可靠性。超时时间设置不合理，可能掩盖设计问题，消耗系统资源。

将超时作为故障边界

事件后，团队将超时设置视为故障边界，采取了强制设置超时时间、引入端到端截止时间、慎重选择超时时间等措施，还谨慎设置重试机制，防止无界等待问题再次出现。

确保超时设置的有效性

为确保超时设置有效，团队使超时情况可观测，不再将超时值视为固定常量，在实际事件发生前验证超时行为，通过混沌工程揭示延迟情况下的故障。

编辑观点：无界等待对系统可靠性危害大，开发者应重视超时设置，从用户体验出发，合理定义超时时间，避免系统因小故障而崩溃。