红队测试经验转化：构建智能体搜索能力的实践指南

在实际安全测试和渗透评估工作中，红队测试人员常常面临一个挑战：如何将一次性的、基于特定场景的测试经验，转化为可复用的、智能化的知识资产，以应对未来更复杂或更隐蔽的攻击面。传统的红队测试流程虽然能发现漏洞，但其成果往往以报告、脚本或零散的笔记形式存在，难以被系统性地检索、关联和复用。随着智能体（Agent）技术的发展，一种新的思路正在浮现——将红队测试的流程、工具、发现和逻辑封装成可交互、可推理的智能体，使其具备主动“搜索”和“分析”安全威胁的能力。

本文探讨的核心，正是如何利用类似“PIMiner”这样的概念或工具（注：PIMiner在此作为一个技术概念代称，指代一种从红队测试中挖掘和构建智能体的方法论或框架），将红队测试的“实战经验”转化为“智能体搜索”能力。我们将从理解红队测试与智能体搜索的结合点开始，逐步构建一个模拟的、最小化的智能体搜索原型，涵盖环境搭建、核心逻辑实现、测试验证以及生产级考量。无论你是安全研究人员、红队工程师，还是对AI在安全领域应用感兴趣的开发者，本文都将提供一个从理论到实践的完整路径。

1. 理解红队测试与智能体搜索的结合点

在深入技术实现之前，必须厘清几个核心概念：什么是红队测试的“可转化部分”？什么是“智能体搜索”？以及两者如何结合。

1.1 红队测试的产出：不仅仅是漏洞报告

一次典型的红队测试（Red Team Assessment）通常包括以下几个阶段：信息收集、威胁建模、漏洞利用、横向移动、权限维持和数据窃取。其最终产出是一份详细的技术报告，其中包含：

• 攻击路径（Attack Path）：从初始访问到目标达成的步骤链。
• 利用的漏洞（Exploited Vulnerabilities）：CVE编号、配置错误、逻辑缺陷等。
• 使用的工具（Tools Used）：自定义脚本、公开利用工具、商业框架等。
• 规避技术（Evasion Techniques）：如何绕过防病毒、EDR、网络监控。
• 战术、技术与程序（TTPs）：映射到MITRE ATT&CK框架的具体行为。

这些信息本质上是结构化和半结构化的知识。传统上，它们被归档后，再次利用的效率很低。而“转化”的意义在于，将这些知识编码成机器可理解、可执行的格式。

1.2 智能体搜索：从被动查询到主动探测

“智能体搜索”在这里并非指优化搜索引擎算法，而是指构建一个具备自主性的软件智能体（Agent），它能够根据高层的安全目标（例如，“检查目标Web应用是否存在注入漏洞”），自动规划、执行一系列“搜索”动作。这些动作可能包括：

• 信息搜索：调用子模块对目标进行端口扫描、目录枚举、指纹识别。
• 漏洞搜索：根据获取的信息（如CMS版本），查询本地知识库或外部API，匹配已知漏洞。
• 利用搜索：在确认漏洞存在后，搜索或组装可用的攻击载荷（Payload）。
• 上下文搜索：在取得初步立足点后，搜索内网资产、敏感文件、凭证信息。

这个智能体内部封装了红队测试的经验（即“何时该做什么”、“如何判断结果”、“失败了怎么办”的逻辑），使其能够像经验丰富的红队成员一样进行决策和探索。

1.3 PIMiner的核心思想：从“过程”中挖掘“智能体”

“PIMiner”（Process Intelligence Miner，过程智能挖掘）这一概念，形象地描述了从红队测试“过程”中挖掘和提炼“智能体”组件的过程。它关注的不只是测试结果，更是产生这些结果的决策逻辑和操作序列。

例如，一次成功的SQL注入攻击，其过程可能被“挖掘”并转化为一个智能体组件，该组件包含：

• 触发条件：目标存在带参数的动态网页（.php/.asp/.aspx）。
• 检测逻辑：提交单引号‘、and 1=1、and 1=2，观察响应差异。
• 判断逻辑：如果存在差异，则标记为“可能存在SQL注入”。
• 深化动作：调用另一个“注入点利用”组件进行进一步验证或利用。
• 输出结果：漏洞URL、参数、类型、可能的数据信。

通过将无数次这样的测试过程标准化、模块化，我们就可以组装出能够执行复杂安全搜索任务的智能体。

2. 环境准备与核心依赖

构建一个演示性质的“红队测试智能体搜索”原型，我们需要一个能够支撑智能体决策、工具调用和结果分析的开发环境。这里我们选择Python作为主要语言，因为它拥有丰富的安全工具库和AI/智能体框架生态。

2.1 基础环境与Python版本

建议使用Python 3.8至3.11版本，这些版本在库兼容性和稳定性上表现较好。首先创建一个干净的虚拟环境。

# 创建项目目录并进入 mkdir red_team_agent_search && cd red_team_agent_search # 创建Python虚拟环境（以venv为例） python3 -m venv venv # 激活虚拟环境 # Linux/macOS source venv/bin/activate # Windows venv\Scripts\activate

2.2 核心依赖库安装

我们的原型将依赖几个关键类型的库：

1. 智能体/任务规划框架：用于管理智能体的目标、工具调用和状态。这里我们使用langchain，因为它提供了构建基于LLM的智能体的基础组件。
2. 安全工具库：用于执行具体的“搜索”动作，如端口扫描、Web请求。
3. 知识库/向量数据库：用于存储和检索历史测试案例、漏洞知识。这里为了简化，我们先使用内存存储。

创建一个requirements.txt文件并安装依赖。

# 智能体与LLM相关 (这里以OpenAI API为例，也可用本地模型) langchain==0.1.0 langchain-openai==0.0.5 # 安全工具与网络请求 requests==2.31.0 beautifulsoup4==4.12.2 python-nmap==0.7.1 # 数据结构与工具 pydantic==2.5.0

使用pip安装：

pip install -r requirements.txt

注意：python-nmap需要系统已安装nmap命令。在Ubuntu/Debian上可通过sudo apt-get install nmap安装，在macOS上可通过brew install nmap安装。Windows用户需要从nmap官网下载并安装。

2.3 配置LLM（大语言模型）

智能体的“大脑”需要一个大语言模型来理解任务、规划步骤。我们将使用OpenAI的GPT模型（例如gpt-3.5-turbo）作为推理核心。你需要准备一个有效的OpenAI API Key。

# config.py import os # 从环境变量读取API Key，避免硬编码在代码中 OPENAI_API_KEY = os.getenv("OPENAI_API_KEY") if not OPENAI_API_KEY: raise ValueError("请在环境变量中设置 OPENAI_API_KEY") # 定义使用的模型 LLM_MODEL_NAME = "gpt-3.5-turbo"

在运行程序前，设置环境变量：

# Linux/macOS export OPENAI_API_KEY='your-api-key-here' # Windows (Command Prompt) set OPENAI_API_KEY=your-api-key-here # Windows (PowerShell) $env:OPENAI_API_KEY='your-api-key-here'

3. 构建最小化的智能体搜索原型

我们将构建一个能够执行“对指定目标进行Web应用初步侦察”任务的智能体。这个智能体将自主决定调用哪些工具，并分析结果。

3.1 定义智能体的工具集（Tools）

工具是智能体与外界交互、执行“搜索”动作的手脚。我们先定义三个基础工具：端口扫描、目录枚举、HTTP头信息收集。

# tools/web_scanner_tools.py import subprocess import json from typing import Dict, Any import requests from bs4 import BeautifulSoup def port_scan(target: str) -> str: """ 对目标进行快速TCP端口扫描。 参数: target: 目标主机名或IP地址 (e.g., 'example.com' or '192.168.1.1') 返回: 格式化后的开放端口列表字符串。 """ try: # 使用nmap进行扫描，参数 -sS (SYN扫描), -T4 (加速), -p- (全端口), --open (只显示开放端口) # 注意：全端口扫描耗时较长，演示时建议指定常用端口范围，如 -p 80,443,8080,8000 command = ["nmap", "-sS", "-T4", "-p 80,443,8080,8000,22,21", "--open", "-oG", "-", target] result = subprocess.run(command, capture_output=True, text=True, timeout=60) if result.returncode != 0: return f"端口扫描失败: {result.stderr}" # 解析nmap的Grepable输出格式 open_ports = [] for line in result.stdout.split('\n'): if line.startswith('Host:'): parts = line.split() for part in parts: if '/open/' in part: port = part.split('/')[0] open_ports.append(port) if open_ports: return f"目标 {target} 开放端口: {', '.join(open_ports)}" else: return f"目标 {target} 未发现指定范围内的开放端口。" except subprocess.TimeoutExpired: return "端口扫描超时。" except Exception as e: return f"执行端口扫描时发生异常: {str(e)}" def fetch_http_headers(url: str) -> str: """ 获取目标URL的HTTP响应头信息。 参数: url: 目标URL (e.g., 'http://example.com') 返回: 格式化后的HTTP头信息字符串。 """ if not url.startswith(('http://', 'https://')): url = 'http://' + url try: response = requests.get(url, timeout=10, allow_redirects=True) headers_info = [] headers_info.append(f"最终请求URL: {response.url}") headers_info.append(f"状态码: {response.status_code}") for key, value in response.headers.items(): headers_info.append(f"{key}: {value}") return "\n".join(headers_info) except requests.exceptions.RequestException as e: return f"获取HTTP头失败: {str(e)}" def simple_dir_bruteforce(base_url: str, wordlist: list = None) -> str: """ 简单的目录枚举工具。 参数: base_url: 基础URL (e.g., 'http://example.com') wordlist: 目录字典列表，默认为一个小型常用列表。 返回: 发现的目录或文件路径列表。 """ if not wordlist: wordlist = ['admin', 'login', 'dashboard', 'config', 'backup', 'api', 'test', 'robots.txt'] discovered = [] for item in wordlist: test_url = f"{base_url.rstrip('/')}/{item}" try: resp = requests.get(test_url, timeout=5) if resp.status_code == 200: discovered.append(f"{test_url} (200 OK)") elif resp.status_code == 403: discovered.append(f"{test_url} (403 Forbidden) - 存在但禁止访问") # 可以根据需要添加其他状态码的判断，如 301, 302 except requests.exceptions.RequestException: continue # 请求失败则跳过 if discovered: return f"发现以下路径:\n" + "\n".join(discovered) else: return "未发现常见目录或文件。"

3.2 创建智能体并集成工具

使用LangChain的create_react_agent模式来构建一个能够根据目标决定使用哪个工具的智能体。

# agent/red_team_scout_agent.py from langchain.agents import create_react_agent, AgentExecutor from langchain.tools import Tool from langchain_openai import ChatOpenAI from langchain.prompts import PromptTemplate from langchain.memory import ConversationBufferMemory from tools.web_scanner_tools import port_scan, fetch_http_headers, simple_dir_bruteforce from config import OPENAI_API_KEY, LLM_MODEL_NAME def create_scout_agent(): """ 创建并返回一个侦察智能体的执行器。 """ # 1. 初始化LLM llm = ChatOpenAI( openai_api_key=OPENAI_API_KEY, model_name=LLM_MODEL_NAME, temperature=0 # 设置为0使输出更确定，适合执行任务 ) # 2. 将函数封装成LangChain Tool对象 tools = [ Tool( name="PortScanner", func=port_scan, description="对给定的主机名或IP地址进行端口扫描。输入应是一个明确的目标，如 'example.com' 或 '192.168.1.100'。" ), Tool( name="HTTPHeaderFetcher", func=fetch_http_headers, description="获取给定URL的HTTP响应头信息。输入应是一个完整的URL，如 'http://example.com'。" ), Tool( name="DirectoryBruteforcer", func=simple_dir_bruteforce, description="对给定的基础URL尝试枚举常见目录和文件。输入应是一个基础URL，如 'http://example.com'。" ), ] # 3. 创建ReAct风格的提示模板 prompt_template = """ 你是一个专业的红队侦察智能体。你的任务是根据用户给出的目标，自主规划并执行侦察步骤，以收集尽可能多的信息。 你可以使用的工具如下： {tools} 请严格按照以下格式进行思考和行动： 思考：你需要分析当前目标和已有信息，决定下一步做什么。 行动：你选择使用的工具名称，必须是[{tool_names}]中的一个。 行动输入：你选择工具的输入，应该是一个清晰的目标。 观察：工具执行后返回的结果。 ... (这个思考/行动/观察循环可以重复多次) 当你认为已经收集到足够的信息，或者无法再进行有效侦察时，请给出最终答案，总结你的发现。 开始！ 目标：{input} {agent_scratchpad} """ prompt = PromptTemplate.from_template(prompt_template) # 4. 创建智能体 agent = create_react_agent(llm, tools, prompt) # 5. 创建智能体执行器，并开启详细输出以便观察其推理过程 agent_executor = AgentExecutor( agent=agent, tools=tools, verbose=True, # 设置为True可以看到智能体的“思考”过程 handle_parsing_errors=True, max_iterations=5, # 限制最大迭代次数，防止无限循环 early_stopping_method="generate" ) return agent_executor if __name__ == "__main__": # 测试智能体 agent = create_scout_agent() target = "http://testphp.vulnweb.com" # 这是一个用于安全测试的合法漏洞演示网站 print(f"开始对目标 {target} 进行智能侦察...") result = agent.invoke({"input": f"请对目标 {target} 进行初步的Web应用侦察。"}) print("\n=== 侦察结果总结 ===") print(result["output"])

3.3 运行与验证

运行上述主程序，你将看到类似以下的输出，这展示了智能体的自主决策过程：

(venv) $ python agent/red_team_scout_agent.py 开始对目标 http://testphp.vulnweb.com 进行智能侦察... > 进入新的AgentExecutor链... 思考：用户要求对目标 http://testphp.vulnweb.com 进行初步的Web应用侦察。我需要先获取该网站的基本HTTP头信息，了解其服务器、技术栈等。然后检查开放了哪些端口，最后尝试枚举一些常见目录。 行动：HTTPHeaderFetcher 行动输入：http://testphp.vulnweb.com 观察：最终请求URL: http://testphp.vulnweb.com/ 状态码: 200 Server: nginx/1.19.0 Date: ... Content-Type: text/html ... 思考：我已经获取了HTTP头信息，知道它运行在nginx/1.19.0上。接下来我应该进行端口扫描，看看除了80端口是否还有其他服务开放。 行动：PortScanner 行动输入：testphp.vulnweb.com 观察：目标 testphp.vulnweb.com 开放端口: 80 思考：只开放了80端口（HTTP）。现在我可以尝试进行目录枚举，寻找隐藏的管理界面或敏感文件。 行动：DirectoryBruteforcer 行动输入：http://testphp.vulnweb.com 观察：发现以下路径: http://testphp.vulnweb.com/admin (200 OK) http://testphp.vulnweb.com/login (200 OK) http://testphp.vulnweb.com/robots.txt (200 OK) 思考：我发现了/admin, /login, /robots.txt等路径。初步侦察完成。我可以总结一下发现。 最终答案：已完成对 http://testphp.vulnweb.com 的初步侦察。 发现： 1. 服务器信息：运行 nginx/1.19.0。 2. 开放端口：仅80端口（HTTP服务）。 3. 发现的可访问路径： - /admin (200 OK) - 可能存在管理后台。 - /login (200 OK) - 登录页面。 - /robots.txt (200 OK) - 可能包含目录提示。 建议后续可对/admin和/login页面进行漏洞扫描（如SQL注入、弱口令测试）。 > 链结束。 === 侦察结果总结 === 已完成对 http://testphp.vulnweb.com 的初步侦察。 发现： 1. 服务器信息：运行 nginx/1.19.0。 2. 开放端口：仅80端口（HTTP服务）。 3. 发现的可访问路径： - /admin (200 OK) - 可能存在管理后台。 - /login (200 OK) - 登录页面。 - /robots.txt (200 OK) - 可能包含目录提示。 建议后续可对/admin和/login页面进行漏洞扫描（如SQL注入、弱口令测试）。

这个简单的原型演示了智能体如何将“初步侦察”这个高层目标，分解为“获取头信息”、“扫描端口”、“枚举目录”等一系列有序的“搜索”动作，并最终给出一个结构化的发现和建议。这正是“将红队测试转化为智能体搜索”的核心理念体现。

4. 从原型到实践：关键组件深化与集成

上面的原型只是一个起点。要真正将红队测试经验转化为强大的智能体搜索能力，需要深化以下几个关键组件。

4.1 工具库的扩展与标准化

一个实用的红队智能体需要更丰富的工具集。我们可以按功能模块来组织：

# tools/__init__.py # 组织工具模块 from .information_gathering import * from .vulnerability_detection import * from .exploitation import * from .post_exploitation import * # tools/information_gathering.py def subdomain_enum(domain: str) -> str: """使用公开API或字典进行子域名枚举""" # 实现代码... pass def web_technology_fingerprint(url: str) -> str: """使用Wappalyzer-like逻辑识别Web技术栈""" # 实现代码... pass # tools/vulnerability_detection.py def check_sql_injection(url: str, param: str) -> str: """对指定URL和参数进行基础的SQL注入检测""" # 实现代码... pass def check_xss(url: str, param: str) -> str: """对指定URL和参数进行基础的XSS检测""" # 实现代码... pass

每个工具都应该有清晰的输入、输出和描述，以便智能体准确理解其用途。

4.2 知识库的构建与检索

智能体的决策不仅依赖于预设工具，还应能从历史测试案例、漏洞库（如CVE）、ATT&CK战术中检索相关知识。这需要引入向量数据库（如ChromaDB, FAISS）。

# knowledge/vector_store.py from langchain_community.document_loaders import TextLoader from langchain.text_splitter import CharacterTextSplitter from langchain_openai import OpenAIEmbeddings from langchain_community.vectorstores import Chroma import os def build_vulnerability_knowledge_base(knowledge_dir: str): """ 从文本文件构建漏洞知识向量库。 假设 knowledge_dir 下有很多 .txt 文件，内容格式为： 标题: CVE-2023-XXXXX 描述: Apache XXX 组件存在XXX漏洞... 影响版本: 1.0.0 - 2.0.0 利用方式: ... """ documents = [] for filename in os.listdir(knowledge_dir): if filename.endswith('.txt'): loader = TextLoader(os.path.join(knowledge_dir, filename)) documents.extend(loader.load()) text_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=50) texts = text_splitter.split_documents(documents) embeddings = OpenAIEmbeddings(openai_api_key=OPENAI_API_KEY) vectorstore = Chroma.from_documents(texts, embeddings, persist_directory="./chroma_db") vectorstore.persist() return vectorstore def query_knowledge(question: str, vectorstore, k=3): """从知识库中检索与问题最相关的k个片段""" docs = vectorstore.similarity_search(question, k=k) return "\n\n".join([doc.page_content for doc in docs])

然后，可以将这个知识检索功能也封装成一个“工具”，供智能体在需要背景知识时调用。

4.3 智能体的记忆与任务规划优化

基础的ReAct智能体是“无状态”的，每次调用都是独立的。对于复杂的多步骤红队任务，智能体需要记忆之前的发现，并据此调整后续计划。这可以通过更高级的Agent框架（如LangChain的Plan-and-Execute模式，或AutoGen的多智能体协作）来实现。

一个进阶的思路是设计一个“规划器（Planner）”智能体和一个“执行器（Executor）”智能体。规划器负责根据最终目标（如“获取目标服务器上的flag文件”）制定高级计划（如“1. 外网打点 -> 2. 内网横向 -> 3. 权限提升 -> 4. 寻找文件”），执行器则负责调用具体工具完成每个子步骤，并将结果反馈给规划器以调整计划。

5. 常见问题与排查路径

在开发和运行此类智能体系统时，会遇到一些典型问题。

5.1 智能体陷入循环或执行无关动作

• 现象：智能体反复执行同一个工具，或执行与目标明显无关的工具。
• 原因：
  1. 工具描述不清晰：LLM无法准确理解工具用途。
  2. 提示词（Prompt）约束力不足：未在Prompt中明确限制行动范围或步骤。
  3. LLM温度（Temperature）设置过高：导致输出随机性太强。
• 排查与解决：
  1. 检查每个Tool的description，确保其准确、无歧义，并说明输入格式。
  2. 强化Prompt中的指令，例如：“你必须优先使用PortScanner和HTTPHeaderFetcher，只有在发现Web服务后才使用DirectoryBruteforcer。”
  3. 将LLM的temperature参数设为0或一个很低的值（如0.1），以增加确定性。
  4. 设置max_iterations（最大迭代次数）和early_stopping_method（提前停止方法），防止无限循环。

5.2 工具执行失败或超时

• 现象：智能体调用的工具返回错误信息或超时，导致流程中断。
• 原因：
  1. 网络问题或目标不可达。
  2. 工具本身代码有Bug或异常处理不完善。
  3. 工具执行时间过长，未设置超时。
• 排查与解决：
  1. 在每个工具函数内部实现完善的异常捕获（try-except），并返回清晰的错误信息，而不是抛出异常。这能让智能体接收到“观察”并尝试其他路径。
  2. 为所有涉及网络请求或外部命令执行的工具设置合理的超时时间。
  3. 在智能体执行层面，可以考虑增加一个“Fallback”机制，当某个工具连续失败时，触发备用方案或上报人工。

5.3 LLM API调用成本与速率限制

• 现象：任务执行缓慢或因API费用高昂而难以持续。
• 原因：智能体每一步“思考”和“生成最终答案”都需要调用LLM API，多步骤任务调用次数多。
• 排查与解决：
  1. 本地模型：考虑使用可在本地部署的轻量级LLM（如Llama 2/3, ChatGLM, Qwen等），通过ollama、vLLM或llama.cpp集成。这能消除API成本和限制，但需要一定的GPU资源。
  2. 优化Prompt：设计更高效的Prompt，减少不必要的思考步骤。有时可以指导智能体“一次规划多个步骤”。
  3. 缓存：对相同的工具调用输入输出进行缓存，避免重复计算。
  4. 任务分解：将超大任务拆分成可由多个更“专一”的智能体分别执行的子任务。

5.4 安全与合规风险

• 现象：智能体被恶意引导攻击非授权目标，或工具被滥用。
• 原因：系统缺乏权限和边界控制。
• 排查与解决：
  1. 明确授权：在系统入口严格校验目标范围，例如通过白名单限制智能体只能对特定IP段或域名进行操作。
  2. 工具沙箱：对执行敏感或危险操作的工具（如漏洞利用）进行沙箱化隔离，限制其网络访问和文件系统权限。
  3. 人工审核环路（Human-in-the-loop）：对于关键操作（如执行Exploit），设置必须由人工确认后才能执行。
  4. 操作日志：详细记录智能体的每一步决策、工具调用和结果，用于审计和复盘。

6. 生产环境最佳实践与扩展方向

将此类系统用于内部攻防演练或安全研究时，需遵循以下最佳实践。

6.1 系统架构建议

6.2 智能体能力扩展方向

1. 深度漏洞利用集成：集成Metasploit、SQLmap（通过JSON-RPC）等成熟工具，让智能体在发现漏洞后能尝试自动化利用。
2. ATT&CK框架映射：将智能体的每一步行动自动映射到MITRE ATT&CK矩阵中的战术和技术，生成更具威胁情报价值的报告。
3. 多智能体协作：构建“侦察”、“攻击”、“横向移动”、“权限提升”等专精智能体，让它们通过消息传递协同完成复杂任务。
4. 基于结果的自进化：设计反馈机制，让智能体能够从成功和失败的任务中学习，优化其未来的决策策略（如强化学习）。

6.3 伦理与法律边界重申

至关重要：本文所述技术仅限用于在法律明确授权范围内的安全测试，包括：

• 对自身拥有所有权的资产进行测试。
• 在获得目标组织书面授权（渗透测试授权书）后进行测试。
• 在符合法律法规的CTF比赛或安全研究环境中进行测试。

禁止用于任何未授权的网络探测、漏洞扫描或攻击活动。开发和使用此类系统必须建立严格的合规流程和审计机制。

通过将红队测试的经验、工具和逻辑系统地转化为可自主运行的智能体搜索能力，我们不仅能提升安全测试的效率和可重复性，更能将人类专家的策略性思维以数字化的形式沉淀和迭代。这条路从构建一个能自动完成端口扫描和目录枚举的简单智能体开始，但其终点，是一个能够理解复杂网络环境、自主规划攻击路径、并持续从实战中学习的AI安全伙伴。