当前位置：首页 > news >正文

ECS 磁盘 IO 等待过高导致系统卡顿怎么排查优化？

news 2026/5/5 19:10:33

ECS 磁盘 IO 等待过高导致系统卡顿怎么排查优化？

当 Linux 系统中%wa（CPU 等待 IO 时间占比）超过 30% 且磁盘%util 达到 90.52% 时，系统会出现明显卡顿，此时需立即定位高 IO 进程并优化磁盘配置。

原因分析

ECS 磁盘 IO 等待过高通常由以下原因导致：首先是磁盘硬件性能瓶颈，机械硬盘处理大量小文件读写时性能较低，当%util 超过 70% 即表示磁盘繁忙；其次是内存不足引发 Swap 频繁读写，当 Swap 使用率超过 50% 且 si/so 持续非零时会同时拖高 IO 和 CPU 负载；第三是云环境特殊性，阿里云 ECS 实例的磁盘是虚拟化后的块存储设备，默认 hang_threshold 值为 5000ms，该阈值可能不适合所有业务场景；第四是应用程序设计不合理，如数据库未开启查询缓存或日志系统逐条写入而非批量写入，导致 I/O 请求排队。

排查步骤：从系统级到进程级定位

第一步，使用 top 命令快速判断是否为 IO 问题。重点关注%wa 列，判断标准为：%wa < 10% 表示 IO 压力正常，%wa 在 10%-30% 之间存在 IO 压力需要关注，%wa > 30% 表示 IO 压力较大系统性能明显受影响，%wa > 50% 则为 IO 严重瓶颈系统响应极慢。示例输出：%Cpu(s): 2.5 us, 1.2 sy, 0.0 ni, 70.5 id, 25.6 wa, 0.0 hi, 0.2 si, 0.0 st。

第二步，使用 iostat 命令定位具体磁盘。安装 sysstat 工具包后执行 iostat -x 2 查看所有磁盘 IO 情况，关键指标中%util > 70% 表示磁盘繁忙，await > 10ms 可能存在问题。示例输出显示 sda 磁盘%util = 90.52%，说明该磁盘已非常繁忙是系统性能瓶颈所在。

第三步，使用 iotop 定位高 IO 进程。执行 iotop -o 实时显示高 IO 进程（需安装：yum install iotop 或 apt install iotop），配合 ps aux --sort=-%cpu 按 CPU 降序查看前 10 行重点进程。

云环境特殊调优方案

阿里云 Linux 提供专用接口用于 IO 问题诊断。调整 hang_threshold 参数的实战步骤：首先检查当前设备阈值设置 cat /sys/block/vdb/queue/hang_threshold，根据业务特性设置新阈值，以下示例设为 10 秒：echo 10000 > /sys/block/vdb/queue/hang_threshold。还可使用/sys/kernel/debug/block/vdb/rq_hang 进行详细请求堆栈分析，以及/proc//wait_res 进行进程级阻塞定位。

Windows 系统排查方法不同：使用资源监视器查看磁盘页签，如果某个进程的"总数 (字节/秒)"持续超过 50MB/s（约 50,000,000 字节/秒）说明该进程正在大量读写磁盘。磁盘队列长度理想情况为 0 或接近 0，机械硬盘持续>2 或 SSD 持续>1 表示负载较高，持续>5-10 则为严重瓶颈。SSD 响应时间正常范围：<10ms 优秀，10-20ms 一般，>20ms 可能负载高。

注意事项

第一，wa 值高只说明 CPU 在等待 IO，但具体是哪个磁盘、哪个进程需要进一步排查，不能仅凭 top 命令就下结论。第二，云磁盘 IO 负载参考值为当前 I/O 读写≥该云盘 I/O 性能指标的 80% 可认为 I/O 负载过高，收到告警信息后需及时处理。第三，当%wa > 20% + %util > 80% + 负载高时优先优化 IO，当 Swap 使用率>50% + si/so 持续非零+IO 高时优先释放内存或扩容减少 Swap。第四，阿里云用户遇到高磁盘 IO 卡死且 CPU 持续占用率 100% 导致网站打不开时，可提交工单由工程师协助排查，有用户反馈治标办法是暂停 PHP 服务后分析 nginx 日志，将攻击类 IP 或 user-agent block 掉。