Linux应急响应实战：从Webshell排查到系统加固的完整指南

1. 项目概述：从“靶机”到“战场”的实战演练

最近在安全圈里，一个叫“知攻善防实验室”的应急响应靶机训练项目，特别是它的Web3版本，讨论热度挺高。很多刚入行的安全工程师或者想转行做应急响应的朋友，一听到“应急响应”四个字就有点发怵，觉得这活儿压力大、要求高，既要懂攻击又要懂防御，还得在高压下快速决策。而这个靶机训练，恰恰就是为解决这个痛点而生的。它不是让你去CTF赛场上解题，而是模拟一个真实的企业服务器被入侵后的现场，你需要扮演安全工程师的角色，从接到告警那一刻起，完成整个应急响应的闭环。简单说，它就是一个高度仿真的“数字犯罪现场”，而你的任务就是那个“数字侦探”，找出入侵者是谁、怎么进来的、干了什么、留下了什么，最后把“现场”清理干净并加固防线。

这个Web3靶机，从名字就能看出它聚焦的是Web应用层相关的安全事件。在真实的攻防对抗中，Web漏洞（比如SQL注入、文件上传、命令执行、反序列化）是攻击者最常用的突破口，也是应急响应中最常遇到的场景。靶机环境通常基于Linux系统（比如CentOS），里面预置了被攻击过的痕迹，比如异常的进程、被篡改的文件、隐藏的后门、可疑的网络连接和日志记录。你的核心工作流程，就是遵循标准的应急响应流程：准备 -> 检测与分析 -> 遏制、根除与恢复 -> 事后总结与加固。这个过程，光看理论是没用的，必须亲手去摸、去查、去分析，才能形成肌肉记忆。这也是为什么这类实战靶场越来越受青睐的原因——它提供了零风险的“练功房”。

接下来，我会结合常见的实战经验和这个靶机可能涉及的场景，为你拆解一次完整的应急响应实操。我会假设我们面对的就是一台被入侵的CentOS服务器，上面运行着Web服务（比如Apache/Nginx + PHP），我们将一步步抽丝剥茧。你会发现，所谓的“应急响应脚本”其实是一系列命令和思考逻辑的组合，而核心在于你的分析思路和对系统、网络的熟悉程度。

2. 应急响应核心流程与实战思路拆解

应急响应不是一堆命令的堆砌，而是一个有章法的调查过程。在真正登录服务器之前，你的头脑里就应该有一个清晰的调查框架。这个框架决定了你的效率，避免你在海量的系统信息中迷失方向。

2.1 标准流程六阶段模型

业内通常将应急响应分为六个阶段，这是一个非常实用的指导框架：

1. 准备阶段：这是平时就要做的工作。包括制定应急预案、准备工具包（调查工具、分析软件）、建立沟通机制、进行人员培训。对于个人练习而言，你的“准备”就是准备好一个干净的虚拟机环境，安装好常用的调查工具（我们后面会列出来），并熟悉它们的基本用法。
2. 检测与确认阶段：收到告警（如主机异常、流量异常、Webshell报警）后，第一时间确认事件是否真实发生，初步判断事件类型和影响范围。在靶场中，这个阶段通常从你发现某个异常现象开始，比如网站首页被篡改，或者监控到服务器有异常外连。
3. 遏制阶段：在确认事件后，立即采取短期措施防止损害扩大。例如，隔离受感染主机（断网）、暂停受影响的服务、修改密码、封禁恶意IP等。注意：在取证调查完成前，尽量避免直接删除恶意文件或重启系统，以免破坏证据。
4. 根除阶段：找到安全事件的根源并彻底清除。包括清除恶意文件、后门、异常账户、计划任务等，并修补被利用的漏洞。
5. 恢复阶段：在确认根除后，将系统或服务恢复到正常状态。恢复业务运行，并持续监控一段时间以确保威胁没有复发。
6. 总结与改进阶段：整理整个事件的时间线、攻击路径、技术细节，形成报告。并基于此改进安全策略、加固系统、更新应急预案。

在靶机训练中，我们主要聚焦在2、3、4阶段，即检测、分析和根除。下面，我们就以一个典型的“Web服务器被上传Webshell并执行了命令”为场景，深入每个环节的实操细节。

2.2 调查思路：由表及里，由果溯因

面对一台疑似被入侵的服务器，新手容易上来就乱翻日志，老手则会遵循一个高效的调查路径。我个人的习惯是“先宏观，后微观；先易失，后持久”：

• 宏观状态快照：首先，用几条命令快速了解系统的整体状态。谁在登录？有哪些网络连接？哪些进程消耗资源异常？这能帮你快速定位可疑点。
• 追踪攻击入口：Web攻击，入口点大概率在Web应用。检查Web目录下的可疑文件、最近被修改的文件，分析Web访问日志，这是溯源的关键。
• 深挖持久化痕迹：攻击者为了维持访问，一定会做持久化。检查计划任务、系统服务、启动项、SSH授权密钥、动态链接库劫持等位置。
• 关联分析与时间线：将不同地方发现的线索（文件创建时间、进程启动时间、日志记录时间）串联起来，还原攻击者的行动路径。

这个思路就像是破案：先看案发现场概貌（宏观状态），寻找凶器（Webshell），再查凶手是怎么进来的（日志），最后看他有没有在房子里藏备用钥匙（持久化后门）。

3. 实战工具箱：命令与脚本详解

工欲善其事，必先利其器。下面这些命令和工具，是Linux应急响应的“瑞士军刀”。我建议你可以在自己的测试机上先熟练它们。所谓的“CentOS应急响应脚本”，其实就是把这些命令按逻辑组合成一个Shell脚本，实现一键化信息收集。

3.1 系统状态快速排查命令

登录服务器后，不要急着动任何东西，先以只读的方式收集信息。

1. 系统信息与用户排查

# 查看当前登录用户和历史登录 who -a && last -aiwx # 查看所有用户，特别是UID为0的root用户和最近创建的用户 cat /etc/passwd | grep -E “(0:x|/bin/bash)” && awk -F: ‘$3==0{print $1}’ /etc/passwd # 查看特权用户（sudoers） cat /etc/sudoers | grep -v “^#” | grep -v “^$” # 查看空口令用户 awk -F: ‘length($2)==0 {print $1}’ /etc/shadow

2. 进程与网络排查

# 查看所有进程，关注异常路径、高CPU/内存占用、奇怪父进程的进程 ps aux --sort=-%cpu | head -20 ps aux --sort=-%mem | head -20 # 查看网络连接，ESTABLISHED状态的连接尤其要注意外连IP和端口 netstat -antp | grep ESTABLISHED # 或者用更现代的ss命令 ss -antp # 检查监听端口，看是否有不熟悉的端口开放 netstat -tulnp # 检查进程打开的文件，如果某个进程打开了Web目录下的可疑文件，就是重大嫌疑 lsof -p <可疑PID>

3. 自启动项与服务排查

# 检查系统服务 systemctl list-unit-files --type=service | grep enabled # 检查开机启动项 ls -lah /etc/rc.d/rc.local /etc/rc.local 2>/dev/null # 检查用户级定时任务（crontab） crontab -l # 查看当前用户的 cat /etc/crontab # 查看系统级的 ls -la /etc/cron.* # 查看cron目录下的所有任务

注意：攻击者经常将后门伪装成系统服务或藏在/etc/rc.local、/etc/init.d/等位置实现开机自启。查看服务时，要特别注意那些路径奇怪、描述不清的服务。

3.2 Web入侵专项排查命令

这是本次靶机训练的重点，因为事件是“Web3”。

1. Web目录文件排查

# 假设Web根目录是 /var/www/html， 查找最近24小时内被修改的文件 find /var/www/html -type f -mtime -1 -ls # 查找权限异常的文件（如777权限） find /var/www/html -type f -perm 777 -ls # 查找包含可疑关键词的文件（如eval, base64_decode, system, shell_exec等） grep -r -l “eval(.*$_POST\|base64_decode\|system\|shell_exec\|passthru” /var/www/html --include=“*.php” # 查找隐藏文件（以点开头的文件） find /var/www/html -name “.*” -type f # 查找大小异常的小文件（可能是Webshell） find /var/www/html -type f -size -10k -ls | head -30

2. Web日志分析Web访问日志（如Apache的access_log， Nginx的access.log）是还原攻击链的宝藏。

# 查看日志最后1000行，快速浏览 tail -1000 /var/log/httpd/access_log # 查找访问量最大的IP（可能是扫描器或攻击源） awk ‘{print $1}’ /var/log/httpd/access_log | sort | uniq -c | sort -nr | head -20 # 查找访问了可疑路径的请求（如上传、管理后台、包含漏洞参数） grep -E “(upload|admin|\.php\?|\.php\&|cmd=|exec=)” /var/log/httpd/access_log # 查找返回状态码异常的请求（如大量的404扫描，或成功的200但访问了异常文件） awk ‘$9==404 {print $7}’ /var/log/httpd/access_log | sort | uniq -c | sort -nr | head -20 awk ‘$9==200 {print $7}’ /var/log/httpd/access_log | sort | uniq -c | sort -nr | head -30

3. 后门与漏洞扫描可以使用一些工具辅助，但不要完全依赖。

# 使用clamav进行病毒扫描（需安装） clamscan -r /var/www/html # 使用find命令结合webshell特征库（需自己维护一个关键词文件） # find /var/www/html -type f -name “*.php” -exec grep -l -f webshell_keywords.txt {} \;

3.3 构建一键信息收集脚本

将上述命令有机组合，可以形成一个基础的应急响应信息收集脚本。下面是一个简化示例，保存为ir_collect.sh并赋予执行权限。

#!/bin/bash # 应急响应基础信息收集脚本 # 作者：你的名字 # 描述：收集系统状态、用户、进程、网络、自启动、Web相关证据 OUTPUT_DIR=“/tmp/ir_$(date +%Y%m%d_%H%M%S)” mkdir -p $OUTPUT_DIR echo “[*] 开始应急响应信息收集，输出目录：$OUTPUT_DIR” # 1. 系统与用户信息 echo “[*] 收集系统与用户信息…” who -a > $OUTPUT_DIR/who.txt 2>&1 last -aiwx > $OUTPUT_DIR/last.txt 2>&1 cat /etc/passwd > $OUTPUT_DIR/passwd.txt 2>&1 cat /etc/shadow > $OUTPUT_DIR/shadow.txt 2>&1 2>/dev/null || echo “无法读取shadow文件” > $OUTPUT_DIR/shadow.txt awk -F: ‘$3==0{print $1}’ /etc/passwd > $OUTPUT_DIR/uid0_users.txt # 2. 进程信息 echo “[*] 收集进程信息…” ps aux --sort=-%cpu > $OUTPUT_DIR/ps_aux_cpu.txt 2>&1 ps aux --sort=-%mem > $OUTPUT_DIR/ps_aux_mem.txt 2>&1 ps auxf > $OUTPUT_DIR/ps_auxf_tree.txt 2>&1 # 3. 网络信息 echo “[*] 收集网络信息…” netstat -tulnp > $OUTPUT_DIR/netstat_listen.txt 2>&1 netstat -antp > $OUTPUT_DIR/netstat_all.txt 2>&1 ss -antp > $OUTPUT_DIR/ss_all.txt 2>&1 # 4. 自启动项 echo “[*] 收集自启动项…” systemctl list-unit-files --type=service | grep enabled > $OUTPUT_DIR/enabled_services.txt 2>&1 crontab -l > $OUTPUT_DIR/crontab_user.txt 2>&1 cat /etc/crontab > $OUTPUT_DIR/crontab_system.txt 2>&1 ls -la /etc/cron.* > $OUTPUT_DIR/cron_dirs.txt 2>&1 # 5. Web目录检查 (根据实际情况修改WEB_ROOT) WEB_ROOT=“/var/www/html” if [ -d “$WEB_ROOT” ]; then echo “[*] 收集Web目录信息…” find $WEB_ROOT -type f -mtime -7 -ls > $OUTPUT_DIR/web_recent_files.txt 2>&1 find $WEB_ROOT -type f -perm 777 -ls > $OUTPUT_DIR/web_777_files.txt 2>&1 # 简单的Webshell关键词查找 grep -r -l “eval\|assert\|system\|shell_exec\|passthru\|base64_decode” $WEB_ROOT --include=“*.php” 2>/dev/null > $OUTPUT_DIR/webshell_suspects.txt || echo “未找到疑似文件” > $OUTPUT_DIR/webshell_suspects.txt else echo “[!] Web根目录 $WEB_ROOT 不存在，跳过Web检查。” > $OUTPUT_DIR/web_check.txt fi # 6. 历史命令（检查攻击者可能执行的操作） echo “[*] 收集历史命令…” history > $OUTPUT_DIR/history.txt 2>&1 echo “[+] 信息收集完成！所有文件已保存至：$OUTPUT_DIR” echo “[+] 请仔细分析以上文件，并结合日志进行深度调查。”

实操心得：这个脚本只是一个起点。在真实环境中，你需要根据实际情况调整WEB_ROOT路径，并可能增加对特定日志文件（如/var/log/secure,/var/log/messages）的收集。运行脚本后，不要在原环境直接分析，最好将$OUTPUT_DIR目录打包下载到本地分析机器上，避免在受污染环境操作带来风险。

4. 案例实战：模拟“知攻善防-Web3”靶机入侵分析

现在，让我们代入一个具体的模拟场景。假设你接到通知，服务器192.168.1.100上的网站首页被篡改，显示了一段挑衅文字。

4.1 初步排查与遏制

1. 远程登录：使用SSH密钥或密码登录服务器。（如果怀疑SSH已不安全，应通过带外管理方式，如控制台）
2. 快速状态检查：

   # 查看当前登录用户，除了自己还有没有其他人 who # 查看异常进程和网络连接 top -c netstat -antp | grep -v “127.0.0.1” | grep ESTABLISHED

   假设发现一个可疑的/tmp/.x进程正在连接一个外部IP的6667端口（常见IRC后门端口）。
3. 立即遏制：
   • 网络隔离：如果条件允许，在防火墙或交换机层面封锁该服务器对外的异常连接（如那个外部IP），或者直接断网。
   • 进程终止：记录下可疑进程的PID，然后终止它。kill -9 <PID>。注意：这只是临时措施，后门很可能重启。
   • 备份现场：在采取任何破坏性操作（如删除文件）前，先对关键证据进行备份。例如，将可疑进程对应的可执行文件复制出来：cp /proc/<PID>/exe /tmp/backup_malware。

4.2 深度检测与根除

1. 定位Webshell：

   # 检查Web根目录最近修改的文件 find /var/www/html -type f -name “*.php” -mtime -1 | xargs ls -la

   假设发现一个可疑文件/var/www/html/images/logo.php，修改时间就在不久前，且内容包含eval($_POST[‘cmd’]);。这就是一个典型的“一句话木马”Webshell。
2. 分析攻击入口：

   # 分析Apache访问日志，查找访问logo.php的请求 grep “logo.php” /var/log/httpd/access_log # 更关键的是，查找在logo.php被创建之前，有哪些可疑的请求，比如上传、包含漏洞利用 # 假设logo.php是在今天10:30创建的 # 查看10:00-10:30之间的日志，寻找POST请求或带有明显攻击参数的请求 sed -n ‘/10:00/,/10:30/p’ /var/log/httpd/access_log | grep -E “(POST|upload|\.php\?)”

   通过分析，你可能发现攻击者先利用了一个文件上传漏洞（请求/upload.php），上传了Webshell，然后通过访问logo.php并传递POST参数执行了系统命令。
3. 清除Webshell与修复漏洞：
   • 备份恶意文件副本供后续分析后，删除Webshell：rm -f /var/www/html/images/logo.php。
   • 找到存在漏洞的上传功能代码upload.php，修复其文件类型校验、目录路径等安全缺陷。
4. 排查持久化后门： Webshell找到了，但攻击者可能还留了其他后门。

   # 检查计划任务 crontab -l -u root cat /etc/crontab ls -la /var/spool/cron/ # 检查系统服务 systemctl list-unit-files --type=service | grep -E “(enabled|disabled)” # 检查SSH授权密钥 cat ~/.ssh/authorized_keys cat /root/.ssh/authorized_keys # 检查动态链接库劫持 cat /etc/ld.so.preload 2>/dev/null # 检查/etc/rc.local cat /etc/rc.local

   假设在/etc/cron.hourly/目录下发现一个可疑的脚本cleanup.sh，其内容会从远程服务器下载并执行恶意程序。这就是攻击者设置的持久化后门。
5. 清除持久化后门：
   • 删除恶意计划任务脚本：rm -f /etc/cron.hourly/cleanup.sh。
   • 检查并清理/tmp/、/dev/shm/等临时目录下的可疑文件。
   • 使用chkrootkit、rkhunter等工具进行全系统扫描，排查Rootkit。

4.3 恢复与加固

1. 恢复业务：修复漏洞后，重启Web服务，验证网站功能是否正常。
2. 修改密码：更改服务器root用户密码，以及所有数据库、应用账户的密码。
3. 系统加固：
   • 更新系统：yum update -y。
   • 最小化服务：关闭不必要的服务。
   • 配置防火墙：只开放必要的端口（如80, 443, 22）。
   • 加强SSH：禁止root直接登录，使用密钥认证，修改SSH端口。
   • 文件监控：部署文件完整性监控（如AIDE），对关键目录（/bin,/sbin,/usr/bin,/var/www）建立基线，一旦文件被修改就能告警。
   • 日志集中：将系统日志、Web日志发送到独立的日志服务器，避免攻击者擦除日志。

5. 常见问题排查与高阶技巧实录

在实际应急响应和靶机练习中，你会遇到各种“坑”。下面记录了一些典型问题和我的处理思路。

5.1 问题排查速查表

5.2 高阶技巧与心得

1. 时间线分析是王道：将文件修改时间（stat filename）、进程启动时间、日志记录时间放在一个时间轴上，能清晰看出攻击步骤。使用find配合-newerXY参数可以基于时间戳查找文件。
2. 不要相信系统自带的命令：在高度怀疑系统被Rootkit感染时，ps,netstat,ls等命令的输出可能被篡改。此时，应该从干净的救援盘启动，或者使用静态编译的、放在只读介质上的安全工具集（如chkrootkit自带的工具，或自己准备的busybox）进行检查。
3. 关注隐藏和伪装：攻击者喜欢用“.”开头的隐藏文件、将文件放在/tmp、/dev/shm、/var/tmp等临时目录，或者将后门命名为类似系统文件的名字（如/usr/bin/sshdvs/usr/bin/sshd2）。使用ls -la和find时务必仔细。
4. Webshell的变种：现在的Webshell越来越隐蔽，可能采用编码、加密、图片马、隐藏在正常文件尾部等方式。静态特征匹配可能失效，需要结合动态行为分析（如监控Web目录下文件的执行行为、网络连接）。
5. 善用日志：除了Web日志，系统认证日志/var/log/secure（记录SSH登录）、系统日志/var/log/messages（记录很多系统事件）都包含关键信息。比如在secure日志里可以看到失败的SSH爆破尝试和成功的登录记录。
6. 靶机练习的进阶：在完成基础的“找Webshell、清后门”之后，可以尝试更复杂的场景，比如：攻击者通过多个漏洞组合渗透（如SQL注入到Getshell）、内网横向移动（在靶场环境中部署多台机器）、日志被部分清除、使用内存马（无文件攻击）等。这些在“知攻善防”这类高质量的靶场中应该都有所涉及。

应急响应是一项综合能力，需要你对操作系统、网络、Web应用、安全工具都有了解。靶机训练就像消防演习，练得越多，真遇到火灾时就越镇定。每一次调查，都是一次对知识体系的巩固和扩展。最后记住一个原则：在确认完全清楚影响并做好备份之前，谨慎执行删除、重启等不可逆操作。宁可多花时间分析，也不要盲目行动破坏了唯一的数据源。