XRAY爬虫模式实战：构建企业内网Web资产自动化漏洞巡检流水线

1. 项目概述：从单点扫描到自动化资产巡检的转变

在安全测试的日常工作中，我们常常面临一个矛盾：手头有像XRAY这样强大的被动扫描工具，但它默认的工作模式是代理模式，需要手动配置浏览器代理，然后一个个页面去点击、触发流量。当面对一个庞大的企业内网，有成百上千个Web应用、管理后台、API接口需要做初步的安全体检时，这种“人肉驱动”的方式效率极其低下，几乎不可能完成。这就是为什么我们需要探索XRAY的“爬虫模式”，并将其与批量检测、报告自动化结合起来，构建一套轻量级但高效的内网Web资产漏洞巡检流水线。

简单来说，这个项目的核心目标，就是让XRAY从一个被动的“监听者”，变成一个主动的“探索者”和“检查员”。我们不再需要手动浏览每一个页面，而是通过一个起始URL列表，让XRAY自动去爬取、去发现、去测试。这听起来像是AWVS、AppScan这类商业扫描器的功能，但XRAY的优势在于它轻量、免费、高度可定制，并且其漏洞检测能力（尤其是逻辑漏洞和新型漏洞）在社区中备受认可。通过爬虫模式配合批量任务，我们可以快速对内网大量Web资产进行一次“普查”，筛选出高风险目标，再投入精力进行深度手工测试，极大地提升了安全工作的覆盖面和响应速度。

2. 核心思路与方案设计：为什么是爬虫模式+批量？

2.1 爬虫模式 vs. 代理模式：适用场景深度剖析

首先，我们必须彻底理解XRAY两种核心工作模式的本质区别，这决定了我们整个方案的设计基础。

代理模式是XRAY最经典、最强大的模式。它作为一个中间人代理，拦截并分析所有经过它的HTTP/HTTPS流量。这种模式的优点是“所见即扫描”。你在浏览器或APP里的每一个操作，点击的每一个链接，提交的每一个表单，都会被XRAY捕获并深度分析。它特别适合：

• 深度手工测试：测试复杂的业务逻辑流程，如购物车、支付、订单状态修改。
• 需要登录认证的应用：配置好浏览器代理和XRAY的认证信息后，可以无缝扫描需要Cookie/Session的页面。
• AJAX/WebSocket等动态内容：能实时捕获前端脚本发起的请求。

但它的缺点也很明显：严重依赖人工操作。扫描范围完全取决于测试人员点击了哪里。对于内网中大量存在的静态官网、信息展示页、文档系统等，一个个去点开是不现实的。

爬虫模式则完全不同。你可以把它理解为XRAY内置了一个简单的、专注于安全测试的Web爬虫。你给它一个或多个起始URL，它会自动解析页面中的链接（如<a href>，<form action>，<script src>等），并递归地访问这些新发现的链接，从而不断扩大扫描范围。在这个过程中，它会对每一个请求和响应进行漏洞检测。它的优势在于：

• 自动化与广度覆盖：无需人工干预，即可自动发现和扫描一个站点内的大量页面。
• 适合资产普查：快速对一个域名或IP下的Web应用进行漏洞“初筛”。
• 与批量任务天然契合：可以很容易地编写脚本，为资产列表中的每一个目标启动一个爬虫扫描任务。

所以，对于“批量检测企业内网漏洞”这个场景，爬虫模式是唯一高效的选择。我们的方案就是：准备一份内网Web资产清单（URL列表） -> 编写脚本循环调用XRAY爬虫模式 -> 收集并解析每个任务的扫描结果 -> 聚合生成统一的HTML报告。

2.2 工具链选型与准备工作

工欲善其事，必先利其器。除了XRAY本身，我们还需要一些辅助工具来搭建这个流水线。

1. XRAY核心程序：从官方渠道获取最新版本的社区版或高级版二进制文件。确保你对其基础配置有了解，特别是config.yaml文件中关于插件启用、扫描速度、代理设置等部分。
2. 资产清单管理：一个文本文件（如targets.txt）是最简单的形式，每行一个目标URL。更高级的可以用Excel/CSV，或者从资产管理系统、CMDB中通过API导出。目标格式应为：http://ip:port或https://hostname。
3. 任务调度与脚本：这是自动化的核心。Bash Shell脚本（Linux/Mac）或Batch/PowerShell脚本（Windows）是轻量级的选择。如果需要更复杂的错误处理、并发控制和状态管理，可以用Python编写，它拥有丰富的库支持。
4. 报告处理工具：XRAY爬虫模式默认输出的是JSON格式的结果文件。我们需要将其转换为更易读的HTML报告。XRAY本身提供了xray webscan命令，可以指定输出HTML报告。我们将利用这一点，并在此基础上进行批量报告的合并与美化。
5. 运行环境：一台可以访问内网所有目标资产的服务器或虚拟机。Linux环境通常是首选，因为其命令行工具强大且稳定。

注意：在开始批量扫描前，务必获得书面授权。即使是内网安全巡检，也必须由安全部门或上级领导发起，明确扫描范围和时间窗口，避免对业务系统造成意外影响（如扫描压力导致服务缓慢）。

3. 实操详解：构建批量爬虫扫描流水线

理论清晰后，我们进入实战环节。我将以一个基于Linux Shell脚本的简单、高效的流水线为例，拆解每一个步骤。

3.1 第一步：准备扫描目标与XRAY配置

假设我们有一个内网资产文件internal_targets.txt，内容如下：

http://192.168.1.100 https://oa.internal.company.com http://192.168.1.150:8080 http://confluence.internal.company.com

首先，我们需要对XRAY进行一些基础配置，以优化爬虫扫描效果。编辑XRAY目录下的config.yaml文件：

plugins: # 启用常见的Web漏洞插件，根据实际情况调整 sqldet: true # SQL注入 cmd_injection: true # 命令注入 dirscan: true # 目录扫描 xss: true # 跨站脚本 path_traversal: true # 路径穿越 ... mitm: restriction: # 限制爬虫和扫描的范围，非常重要！避免爬出目标域名造成风险。 includes: # 使用正则表达式，只扫描目标域下的链接 - “.*\.internal\.company\.com.*” - “192\.168\.1\..*” scan: crawler: max_depth: 5 # 爬虫最大深度，防止陷入无限循环 max_count_of_links: 1000 # 最大爬取链接数，控制扫描规模 ...

关键配置解读：

• restriction.includes：这是安全红线。必须根据你的资产列表精确设置，确保XRAY只爬取和扫描你授权的目标。例如，如果你只扫描oa.internal.company.com，但该页面有一个外链到www.github.com，没有这个限制，爬虫可能会爬出去，这是绝对不允许的。
• max_depth和max_count_of_links：用于控制扫描的“量”。内网系统可能相互链接复杂，设置上限可以防止单次扫描任务耗时过长或消耗过多资源。

3.2 第二步：编写批量扫描Shell脚本

创建一个名为batch_xray_crawl.sh的脚本：

#!/bin/bash # 批量XRAY爬虫扫描脚本 # 作者：你的名字 # 说明：遍历目标列表，对每个目标执行爬虫扫描，并生成独立报告 XRAY_PATH="./xray_linux_amd64" # XRAY二进制文件路径 TARGET_FILE="./internal_targets.txt" # 目标列表文件 REPORT_DIR="./reports/$(date +%Y%m%d_%H%M%S)" # 按时间创建报告目录 LOG_FILE="${REPORT_DIR}/scan.log" # 总日志文件 # 创建报告目录 mkdir -p ${REPORT_DIR} echo “批量爬虫扫描开始于: $(date)” | tee -a ${LOG_FILE} echo “报告将保存至: ${REPORT_DIR}” | tee -a ${LOG_FILE} # 初始化计数器 TOTAL=$(wc -l < ${TARGET_FILE}) COUNT=0 # 逐行读取目标文件 while IFS= read -r TARGET; do # 去除行首尾空白字符 TARGET=$(echo ${TARGET} | xargs) # 跳过空行和以#开头的注释行 if [[ -z “${TARGET}” ]] || [[ “${TARGET}” == \#* ]]; then continue fi ((COUNT++)) # 为目标生成一个安全的文件名（用于报告） # 将‘://‘, ‘:‘, ‘/‘, ‘.‘ 等字符替换为下划线 SAFE_NAME=$(echo ${TARGET} | sed ‘s/[:\/.]/_/g’) REPORT_PREFIX=“${REPORT_DIR}/${SAFE_NAME}” echo “[${COUNT}/${TOTAL}] 正在扫描: ${TARGET}” | tee -a ${LOG_FILE} # 核心命令：启动XRAY爬虫扫描 # –basic-crawler: 启用爬虫模式 # –url: 指定起始URL # –html-output: 生成HTML报告 # –json-output: 同时生成JSON报告（用于后续处理） timeout 1800 ${XRAY_PATH} webscan –basic-crawler ${TARGET} –html-output ${REPORT_PREFIX}_report.html –json-output ${REPORT_PREFIX}_result.json 2>&1 | tee -a ${LOG_FILE} SCAN_EXIT_CODE=${PIPESTATUS[0]} # 检查扫描结果 if [[ ${SCAN_EXIT_CODE} -eq 0 ]]; then echo “ [+] 扫描完成: ${REPORT_PREFIX}_report.html” | tee -a ${LOG_FILE} elif [[ ${SCAN_EXIT_CODE} -eq 124 ]]; then echo “ [!] 扫描超时（30分钟）: ${TARGET}” | tee -a ${LOG_FILE} else echo “ [-] 扫描可能出错，退出码: ${SCAN_EXIT_CODE}” | tee -a ${LOG_FILE} fi echo “—————————————————————” | tee -a ${LOG_FILE} # 可选：每次扫描后暂停一下，避免对网络和设备造成瞬时压力 sleep 5 done < “${TARGET_FILE}” echo “批量扫描全部结束于: $(date)” | tee -a ${LOG_FILE} echo “所有报告已保存至: ${REPORT_DIR}” | tee -a ${LOG_FILE}

脚本关键点解析：

1. 目录组织：使用$(date +%Y%m%d_%H%M%S)为每次扫描任务创建带有时间戳的唯一报告目录，便于归档和追溯。
2. 目标处理：使用while read循环逐行处理，并过滤空行和注释（以#开头），增加了脚本的灵活性。
3. 安全文件名：URL中包含的://、:等字符在文件系统中不友好，用sed命令将其替换为下划线，避免创建文件失败。
4. 核心命令：xray webscan –basic-crawler –url –html-output –json-output是爬虫扫描的核心。同时输出HTML和JSON，HTML用于人工查看，JSON用于后续可能的自动化分析。
5. 超时控制：使用timeout 1800命令限制单次扫描最长运行时间为30分钟。对于未知大小的站点，这是一个必要的保护措施，防止某个目标卡住整个批量任务。
6. 状态记录与暂停：详细记录日志，并在每个目标扫描后sleep 5秒，这是一种简单的“礼貌扫描”策略，可以稍微降低对目标服务器的并发压力。

3.3 第三步：执行扫描与初步报告生成

给脚本添加执行权限并运行：

chmod +x batch_xray_crawl.sh ./batch_xray_crawl.sh

脚本运行后，你会在reports/20231027_143022/这样的目录下看到如下文件：

• 192_168_1_100_report.html
• 192_168_1_100_result.json
• oa_internal_company_com_report.html
• oa_internal_company_com_result.json
• scan.log

此时，你已经拥有了每个目标的独立HTML报告。双击HTML文件即可在浏览器中查看，XRAY生成的报告界面清晰，会按漏洞风险等级（高危、中危、低危、信息）列出发现的问题，并包含请求、响应等详细信息，便于复现。

4. 报告生成技巧：从独立报告到聚合仪表盘

独立的报告对于分析单个目标很方便，但作为一次批量巡检的输出，我们需要一份能总览全局的报告。例如，安全负责人可能只关心：“这次扫了100个系统，有多少个存在高危漏洞？分别是哪些？” 我们需要将分散的JSON结果聚合起来。

4.1 使用Python聚合JSON结果并生成总览报告

我们可以编写一个Python脚本，来解析所有*_result.json文件，生成一个汇总的HTML仪表盘。这里提供一个简化版的思路和核心代码片段。

首先，安装可能需要的Python库：pip install jinja2（一个流行的模板引擎）。

创建脚本generate_summary.py：

#!/usr/bin/env python3 import json import os import glob from jinja2 import Template from datetime import datetime def parse_xray_json(json_file_path): “”“解析单个XRAY JSON结果文件”“” with open(json_file_path, ‘r’, encoding=‘utf-8’) as f: data = json.load(f) target = data.get(‘target’, {‘url’: ‘Unknown’}).get(‘url’, ‘Unknown’) vulnerabilities = [] for item in data.get(‘vulnerabilities’, []): vuln = { ‘plugin’: item.get(‘plugin’, ‘’), ‘detail’: item.get(‘detail’, {}), ‘risk’: ‘高危’ if ‘high’ in item.get(‘plugin’, ‘’).lower() else ‘中危’ if ‘medium’ in item.get(‘plugin’, ‘’).lower() else ‘低危’ if ‘low’ in item.get(‘plugin’, ‘’).lower() else ‘信息’, ‘url’: item.get(‘detail’, {}).get(‘addr’, ‘’), ‘payload’: item.get(‘detail’, {}).get(‘payload’, ‘’), } # 这里可以提取更多你需要的信息 vulnerabilities.append(vuln) return { ‘target’: target, ‘vulnerabilities’: vulnerabilities, ‘vuln_count’: len(vulnerabilities), ‘high_count’: sum(1 for v in vulnerabilities if v[‘risk’] == ‘高危’), ‘medium_count’: sum(1 for v in vulnerabilities if v[‘risk’] == ‘中危’), ‘low_count’: sum(1 for v in vulnerabilities if v[‘risk’] == ‘低危’), ‘info_count’: sum(1 for v in vulnerabilities if v[‘risk’] == ‘信息’), ‘report_file’: os.path.basename(json_file_path).replace(‘_result.json’, ‘_report.html’) } def main(): # 假设报告目录是当前目录下的最新一个reports子目录 report_dirs = glob.glob(‘./reports/*’) if not report_dirs: print(“未找到报告目录”) return latest_report_dir = max(report_dirs, key=os.path.getmtime) json_files = glob.glob(os.path.join(latest_report_dir, ‘*_result.json’)) all_results = [] total_high = total_medium = total_low = total_info = 0 for jf in json_files: result = parse_xray_json(jf) all_results.append(result) total_high += result[‘high_count’] total_medium += result[‘medium_count’] total_low += result[‘low_count’] total_info += result[‘info_count’] # 按高危漏洞数量降序排序 all_results.sort(key=lambda x: x[‘high_count’], reverse=True) # 使用Jinja2模板生成HTML html_template = “”“ <!DOCTYPE html> <html> <head> <meta charset=“utf-8”> <title>内网漏洞批量扫描总览报告</title> <style> body { font-family: sans-serif; margin: 20px; } .summary { background-color: #f5f5f5; padding: 15px; border-radius: 5px; margin-bottom: 20px; } .risk-high { color: #dc3545; font-weight: bold; } .risk-medium { color: #fd7e14; } .risk-low { color: #ffc107; } .risk-info { color: #6c757d; } table { border-collapse: collapse; width: 100%; } th, td { border: 1px solid #ddd; padding: 8px; text-align: left; } th { background-color: #e9ecef; } tr:hover { background-color: #f8f9fa; } a { text-decoration: none; } </style> </head> <body> <h1>企业内网Web资产漏洞扫描总览</h1> <p>生成时间：{{ scan_time }}</p> <div class=“summary”> <h2>扫描统计</h2> <p>扫描目标总数：<strong>{{ total_targets }}</strong></p> <p>漏洞统计： <span class=“risk-high”>高危 {{ total_high }}</span> | <span class=“risk-medium”>中危 {{ total_medium }}</span> | <span class=“risk-low”>低危 {{ total_low }}</span> | <span class=“risk-info”>信息 {{ total_info }}</span> </p> </div> <h2>目标详情</h2> <table> <thead> <tr> <th>目标</th> <th>漏洞总数</th> <th>高危</th> <th>中危</th> <th>低危</th> <th>信息</th> <th>详细报告</th> </tr> </thead> <tbody> {% for result in results %} <tr> <td>{{ result.target }}</td> <td>{{ result.vuln_count }}</td> <td class=“risk-high”>{{ result.high_count }}</td> <td class=“risk-medium”>{{ result.medium_count }}</td> <td class=“risk-low”>{{ result.low_count }}</td> <td class=“risk-info”>{{ result.info_count }}</td> <td><a href=“{{ result.report_file }}” target=“_blank”>查看</a></td> </tr> {% endfor %} </tbody> </table> </body> </html> ”“” template = Template(html_template) html_output = template.render( scan_time=datetime.now().strftime(‘%Y-%m-%d %H:%M:%S’), total_targets=len(all_results), total_high=total_high, total_medium=total_medium, total_low=total_low, total_info=total_info, results=all_results ) summary_report_path = os.path.join(latest_report_dir, ‘00_扫描总览.html’) with open(summary_report_path, ‘w’, encoding=‘utf-8’) as f: f.write(html_output) print(f“聚合报告已生成: {summary_report_path}”) if __name__ == ‘__main__’: main()

运行这个脚本：

python3 generate_summary.py

它会在最新的报告目录中生成一个名为00_扫描总览.html的文件。打开这个文件，你将看到一个清晰的仪表盘，展示了所有扫描目标的漏洞分布情况，并可以一键链接到每个目标的详细报告。

4.2 报告优化与定制技巧

上面的聚合报告只是一个起点。在实际工作中，你可以根据团队需求进行大量定制：

1. 风险评分排序：不要只看高危数量。可以设计一个简单的风险评分公式，例如：风险分 = 高危数*10 + 中危数*4 + 低危数*1，然后按风险分排序，更能反映目标的整体风险状况。
2. 漏洞类型统计：在总览页增加一个“最常见漏洞类型”的图表（如使用Chart.js），让团队一眼看出当前内网最普遍的安全问题是什么（是SQL注入、XSS还是信息泄露？）。
3. 历史对比：如果定期扫描，可以将本次结果与上次结果进行对比，用箭头（↑↓）显示风险变化，突出风险加剧的系统。
4. 负责人关联：如果你的资产清单中包含了系统负责人信息，可以在聚合报告中加入一列“负责人”，并自动将报告通过邮件发送给对应的负责人。
5. 报告样式专业化：使用更专业的CSS框架（如Bootstrap）来美化报告，使其更接近正式的审计报告格式。

5. 进阶技巧与避坑指南

掌握了基础流程后，下面这些从实战中总结的经验和技巧，能让你把这件事做得更专业、更稳健。

5.1 提升爬虫扫描效率与覆盖率的技巧

• 巧用–plugins参数：不是每次普查都需要启用所有插件。对于初步筛查，可以只启用sqldet,xss,dirscan,brute_force等高风险插件，能显著缩短扫描时间。命令如：xray webscan –basic-crawler http://target –plugins sqldet,xss –html-output report.html。
• 设置合理的请求间隔：在config.yaml的http部分，可以设置max_qps来限制每秒最大请求数。对于内网环境，可以适当调高（如10-20），但也要避免把老旧服务器打挂。
• 处理登录认证：爬虫模式也支持认证。对于需要登录的系统，你可以先手动登录，然后使用–browser-crawler模式（需要配合浏览器驱动），或者将登录后的Cookie通过–headers “Cookie: xxx=yyy”参数传递给爬虫。这是扫描覆盖面的关键。
• 利用–url-file批量扫描子路径：如果你知道目标有很多固定路径（如/admin,/phpmyadmin,/backup），可以将这些路径保存到一个文件，然后使用–url-file参数，让爬虫从这些入口点开始爬，提高针对性。

5.2 企业内网扫描的特殊注意事项

• 网络可达性与DNS：确保你的扫描主机能解析内网域名（如oa.internal.company.com）。可能需要配置内部DNS服务器地址或修改本地的/etc/hosts文件。
• 避开生产敏感时段：与业务部门沟通，将批量扫描安排在业务低峰期，例如深夜或周末。
• 识别和过滤非Web资产：你的资产清单里可能有单纯的IP地址。XRAY会尝试连接80/443端口。如果该IP运行的是数据库或中间件服务，可能会返回非HTTP响应，导致XRAY报错或卡住。可以在脚本中加入预处理，用curl -I –connect-timeout 3先快速检查一下端口是否开放HTTP服务。
• 处理自签名证书：内网很多HTTPS站点使用自签名证书。XRAY默认会验证证书，导致连接失败。需要在config.yaml中设置mitm: ssl_insecure: true来跳过证书验证。

5.3 常见问题与排查实录

1. 扫描速度极慢或卡住
   • 可能原因：目标网站有无限循环的链接（如日历控件）；触发了WAF或CC防护；网络延迟大。
   • 排查：查看XRAY实时输出或日志，看它卡在哪个URL上。用–max-depth 3和–max-count 200先做限制扫描。检查目标服务器负载。
2. 爬虫爬到了授权范围外的网站
   • 可能原因：restriction.includes配置错误或未配置；目标页面有大量外链。
   • 解决：立即停止扫描！重新检查并收紧includes规则。这是最严重的安全合规问题。
3. 生成的HTML报告打开是空白或乱码
   • 可能原因：报告文件路径包含中文或特殊字符；生成过程中被中断。
   • 解决：确保脚本中生成的文件名是安全的（如我们之前用sed处理过）。检查文件大小，如果太小（如几KB），可能是扫描过程出错，查看对应的JSON文件是否有内容。
4. 漏报问题
   • 认知：必须清醒认识到，自动化工具的漏报是必然的。爬虫模式无法触发需要复杂交互（如拖拽、上传、多步骤状态转换）的漏洞。
   • 定位：爬虫模式的核心价值是“广度覆盖”和“发现常见漏洞”。对于关键业务系统，必须在其基础上进行深度手工测试。
5. 误报问题
   • 处理：XRAY的扫描结果，尤其是中低危漏洞，存在一定误报率。生成报告后，需要安全工程师进行人工复核确认（Triaging），将确认的漏洞录入漏洞管理系统，误报的则标记忽略。这个过程无法完全自动化。

5.4 将流水线集成到工作流中

一个成熟的流程不会止步于脚本。你可以考虑：

• 定时任务：使用Linux的cron或Windows的计划任务，每周或每月自动执行一次批量扫描。
• 与资产管理系统联动：编写脚本，定期从CMDB拉取最新的Web资产列表，更新targets.txt。
• 结果自动推送：扫描结束后，脚本可以自动将聚合报告通过邮件发送给安全团队，甚至通过企业微信/钉钉机器人发送一条摘要消息（如“本次内网巡检完成，扫描50个目标，发现3个高危漏洞”）。
• 漏洞生命周期管理：编写更复杂的解析脚本，将XRAY的JSON结果自动转换为Jira、禅道等工单系统的任务，或导入到OpenVAS、Nexpose等漏洞管理平台，实现从发现到修复的闭环跟踪。

这套基于XRAY爬虫模式的批量检测方案，本质上是用自动化脚本将一个个孤立的工具能力串联起来，形成适合自己工作环境的“生产力工具链”。它可能没有商业扫描器那么华丽的界面和全自动的管理，但其高度的灵活性、可控性和近乎零的成本，使得它成为许多安全团队进行常态化、广覆盖内网巡检的利器。