常用运维故障排查命令
常用运维故障排查命令
- 一、 网络诊断 (Network)
- 二、 系统状态与资源 (System & Resources)
- 三、 进程与性能分析 (Process & Performance)
- 四、 日志排查 (Logging)
- 五、 安全与权限 (Security & Permission)
- **高级组合与排查思路**
这是一份精心整理的运维故障排查命令清单，涵盖网络、系统、进程、性能、日志和安全等核心场景，并附有简明解释和常用参数。
一、 网络诊断 (Network)
ping- 测试主机连通性ping -c 4 8.8.8.8（发送4个包后停止）ping -I eth0 目标IP（指定网卡发送）
traceroute/tracepath/mtr- 追踪数据包路径traceroute www.baidu.commtr --report www.google.com（动态实时追踪，更强大）
netstat- 查看网络连接、路由表、接口统计（旧版，部分系统已淘汰）netstat -tunlp（查看所有监听端口及进程）netstat -rn（查看路由表）
ss-netstat的现代替代品，速度更快ss -tunlp（功能同netstat -tunlp）ss -s（查看套接字统计摘要）
dig/nslookup- DNS 查询dig www.example.com A（查询A记录）dig @8.8.8.8 example.com MX（指定DNS服务器查询MX记录）nslookup www.example.com（交互式查询）
nmap- 端口扫描和网络探测nmap -sT -p 1-1000 目标IP（TCP连接扫描常用端口）nmap -sU -p 53,161 目标IP（UDP端口扫描）nmap -O 目标IP（尝试识别操作系统）
tcpdump- 命令行网络抓包分析tcpdump -i eth0 port 80（抓取eth0网卡80端口的包）tcpdump -i any host 192.168.1.1 -w file.pcap（抓取特定主机的包并保存）tcpdump -n -vvv（禁用主机名解析，显示更详细信息）
telnet/nc(netcat)- 测试TCP/UDP端口连通性telnet 目标IP 端口（测试TCP端口是否开放）nc -zv 目标IP 端口（快速测试TCP端口）nc -u 目标IP UDP端口（测试UDP端口）
curl/wget- HTTP/HTTPS 请求与下载curl -I http://example.com（仅获取HTTP头部）curl -v http://example.com（显示详细连接过程）curl -X POST -d ‘data’ http://api（发送POST请求）wget --spider --timeout=5 URL（模拟爬虫，检查URL可达性）
iptables/firewall-cmd(firewalld)- 防火墙规则查看iptables -L -n -v（查看所有规则，数字显示端口/IP）firewall-cmd --list-all（查看firewalld所有区域和规则）
二、 系统状态与资源 (System & Resources)
top/htop- 动态查看进程和系统资源占用top（经典工具，按P按CPU排序，M按内存排序）htop（top的增强版，色彩丰富，支持鼠标操作）
uptime- 查看系统运行时间与平均负载- 输出示例：
12:30:00 up 30 days, 1:23, 2 users, load average: 0.05, 0.10, 0.15
- 输出示例：
free- 查看内存使用情况free -h（以人类可读的单位显示，如G、M）free -m（以MB为单位显示）
df- 查看磁盘空间使用情况df -h（人类可读格式）df -i（查看inode使用情况，防止“磁盘有空间但无法创建文件”的问题）
du- 查看目录/文件占用的磁盘空间du -sh /var/log/（查看/var/log目录的总大小）du -h --max-depth=1 /home（查看/home下第一级子目录大小）
vmstat- 报告虚拟内存、进程、CPU活动等统计信息vmstat 2 5（每2秒采样一次，共采样5次）
iostat- 查看CPU统计和磁盘I/O情况iostat -dx 2（显示扩展磁盘统计，每2秒刷新）iostat -c（仅显示CPU使用率）
sar- 系统活动报告器，历史性能数据查询sar -u 1 3（查看CPU使用率，每秒1次，共3次）sar -b 1 3（查看I/O和传输速率）sar -r（查看内存使用历史）sar -n DEV（查看网络接口历史流量）
三、 进程与性能分析 (Process & Performance)
ps- 显示当前进程状态快照ps aux（显示所有用户的所有进程详细信息）ps -ef（标准格式）ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head（按CPU使用率排序并显示前几名）
pstree- 以树状图显示进程关系pstree -p（显示PID）
lsof- 列出打开的文件和进程lsof -i :8080（查看谁在占用8080端口）lsof /var/log/syslog（查看谁在打开这个日志文件）lsof -p PID（查看指定进程打开的所有文件）
strace/ltrace- 系统调用/库调用追踪strace -f -p PID（追踪一个正在运行的进程及其子进程）strace -e open,read,write command（追踪命令的特定系统调用）ltrace command（追踪库函数调用）
pidstat- 监控进程资源占用（CPU、内存、IO）pidstat -u 2 5（每2秒报告一次各进程CPU使用，共5次）pidstat -d（报告进程IO情况）
perf- Linux性能分析工具（功能强大，较复杂）perf top（实时显示消耗CPU最多的函数/符号）perf record -g -p PID（记录进程的性能数据，生成火焰图数据）
四、 日志排查 (Logging)
tail- 查看文件尾部内容tail -f /var/log/syslog（实时追踪日志增长）tail -n 100 /var/log/nginx/error.log（查看最后100行）
head- 查看文件头部内容head -n 20 /var/log/boot.log（查看文件前20行）
grep- 强大的文本搜索工具grep “error” /var/log/app.log（搜索包含“error”的行）grep -E “error|fail” /var/log/app.log（使用正则，搜索error或fail）grep -C 3 “keyword” file（显示匹配行前后各3行内容）tail -f logfile | grep --line-buffered pattern（实时过滤日志流）
journalctl- 查询systemd日志（适用于使用systemd的系统）journalctl -f（实时追踪所有日志）journalctl -u nginx.service（查看指定服务的日志）journalctl --since “2023-10-01” --until “2023-10-02”（按时间范围查询）journalctl -p err（只看错误级别以上的日志）
五、 安全与权限 (Security & Permission)
last/lastb- 查看用户登录记录和失败尝试last（查看所有成功登录历史）lastb（查看失败的登录尝试）
lsattr/chattr- 查看/修改文件扩展属性lsattr filename（查看文件特殊属性，如i（不可修改）、a（只追加））chattr +i file（给文件加上不可修改属性，防止误删）chattr -i file（移除不可修改属性）
高级组合与排查思路
“黄金命令组合”：当服务不可用时，一个典型的排查链条是：
curl/wget（测试服务自身HTTP响应）telnet/nc（测试端口可达性）ping（测试网络层连通性）traceroute（定位网络中断点）- 如果前三步在本地通，远端不通 -> 检查安全组/防火墙：
iptables -L/firewall-cmd --list-all - 如果端口被占用 ->
ss -tunlp | grep :端口或lsof -i :端口 - 如果服务进程崩溃 ->
journalctl -u 服务名或tail -f /var/log/服务日志 - 如果服务器负载高 ->
top->pidstat -u -p 高CPU进程PID->strace -p PID或perf
磁盘I/O瓶颈：
iostat -dx 1看%util和await，同时用iotop定位哪个进程在大量读写。内存泄漏：
free -h观察可用内存持续下降，用ps aux --sort=-%mem或smem找嫌疑进程，再用valgrind（开发环境）或pmap -x PID分析进程内存映射。
掌握这些命令，并理解它们背后的原理，你将能系统性地诊断和解决绝大多数运维故障。建议在测试环境中多加练习，形成自己的排查“肌肉记忆”。