AceForge：基于行为观察与混合评估的自进化AI智能体技能引擎

1. 项目概述：AceForge，一个让AI智能体学会“肌肉记忆”的引擎

如果你正在使用OpenClaw这类AI智能体框架，大概率会遇到一个头疼的问题：你的智能体总是在重复犯同样的错误，或者每次遇到类似任务都要从头“思考”一遍。你可能会手动写一堆技能（Skill）文件来教它，但这不仅耗时，而且你写的指令往往和智能体实际的操作模式对不上。结果就是，社区里充斥着大量没人用的低质量技能，而真正好用的、能解决你实际问题的技能却寥寥无几。

AceForge就是为了解决这个问题而生的。它不是一个普通的插件，而是一个自进化的技能引擎。简单来说，它就像一个站在你智能体身后的“教练”，默默观察智能体每一次调用工具（比如执行一个Docker命令、调用一个API）的成功与失败，记录下你每一次的纠正（比如你说“不对，这里应该加--rm参数”）。然后，它会将这些重复出现的操作模式，提炼、验证，最终打包成一个个永久性的、经过你批准的技能文件（SKILL.md）。从此，你的智能体就拥有了“肌肉记忆”，遇到同类问题可以直接调用成熟的技能，而不是每次都从零开始推理。

它的核心价值在于将隐性的、临时的操作经验，转化为显性的、可审计的、可复用的资产。这不仅仅是自动化，更是知识的沉淀和进化。无论你是个人开发者希望自己的AI助手越来越顺手，还是团队希望构建一个能持续学习的智能体系统，AceForge提供了一套基于真实数据驱动、安全可控的解决方案。

2. 核心设计哲学：为什么观察与批准如此重要

在深入技术细节前，理解AceForge的设计哲学至关重要。它建立在几个关键洞察之上，这些洞察直接决定了它的工作方式与你手动管理技能有本质不同。

2.1 从“猜测需求”到“观察行为”

传统技能创作是基于开发者的“猜测”：我猜用户会这样问，所以我这样写技能。但研究数据（如SkillsBench）表明，高达56%的社区技能从未被调用，因为其描述与用户真实的提问方式不匹配。AceForge反其道而行之：它不猜测，它观察。通过挂钩在智能体的after_tool_call等生命周期钩子上，它能捕获最原始的行为数据——用了什么工具、传了什么参数、结果成功还是失败、用户随后如何纠正。技能生成完全基于这些真实痕迹，确保了技能描述与用户意图、智能体实际行为的高度对齐。

2.2 安全与控制的绝对优先

AI智能体的能力扩展伴随着风险。恶意技能可能导致数据泄露、系统破坏（如著名的ClawHavoc攻击活动）。AceForge将安全置于核心：

1. 无自动部署：每一个技能提案、升级甚至退休，都必须经过你的明确批准（/forge approve）。系统只有建议权，没有执行权。
2. 多层安全验证：在技能提案呈现在你面前之前，它已经通过了一个包含23种攻击变体的验证器，检测范围从提示注入、凭证泄露到路径遍历和持久化攻击（如写入SOUL.md）。
3. 操作可审计：所有操作，包括部署、升级、回滚，都有完整的版本历史记录。你可以随时查看时间线（/forge history）和差异对比（/forge diff）。

2.3 混合质量评估：在成本与精度间取得平衡

评估一个技能的好坏是复杂的。纯规则判断（如检查格式）快速但死板；纯LLM判断准确但昂贵。AceForge采用了一种混合评分模型：

• 结构质量分（40%）：基于规则快速分析技能的格式、完整性、安全性。
• 覆盖质量分（60%）：基于真实痕迹数据，计算技能描述是否覆盖了实际使用的参数模式、遇到的错误以及用户的纠正。
• LLM法官：只有当综合评分处于“模糊区间”（40-70分）时，才会调用LLM进行语义层面的最终裁决。这确保了昂贵的LLM调用只用在最需要的地方。

实操心得：在配置初期，你可以将ACEFORGE_DRY_RUN环境变量设为true。这样AceForge会完整运行整个观察、分析、生成流程，并将提案记录到日志中，但不会实际写入任何文件。这是评估AceForge是否理解你的工作流、其提案质量如何的绝佳方式，零风险。

3. 工作原理深度拆解：十二级精炼管道

AceForge的工作流程是一个精心设计的12阶段管道，它持续在后台运行，将原始的工具调用痕迹转化为可靠的技能。理解这个管道，你就理解了它的核心。

3.1 阶段一至三：从观察到生成

1. 观察（Observe）每当你的智能体调用一个工具（无论是内置的exec、read_file，还是自定义工具），AceForge都会捕获一个“痕迹”。这个痕迹是一个结构化的数据包，包含：

• 工具名：例如exec_docker
• 参数：例如["run", "-d", "nginx"]
• 结果：成功时的输出，或失败时的错误信息和退出码。
• 上下文：会话ID、时间戳、执行时长。
• 用户纠正：通过自然语言处理，识别用户消息中的纠正意图（如“不对，应该用docker run --rm”），并将其与最近的工具调用关联。

这些痕迹以JSONL格式持久化存储，并配有滚动清理策略（默认保留1万行或30天），避免数据无限膨胀。

2. 检测（Detect）AceForge会分析积累的痕迹，寻找“结晶点”。其核心逻辑是：当一个工具被以相似模式重复调用足够次数时，它就可能成为一个技能候选。

• 阈值机制：初始阈值是3次。但当系统中已部署的技能超过20个时，阈值会提升到5次。这个设计直接借鉴了单智能体扩展性研究——技能库并非越大越好，过多的低质量技能反而会降低整体性能。提升阈值是为了防止技能库膨胀，确保新增技能都是高频、高价值的。
• 模式分组：不仅仅是统计调用次数，还会对参数进行聚类分析。例如，exec_docker工具可能被用于run、build、ps等多种子命令，AceForge会尝试识别出不同的使用模式。

3. 生成（Generate）对于达到阈值的工具模式，AceForge启动其双模型LLM管道。

1. 生成器（Generator）：通常配置为擅长结构化输出的模型（如MiniMax M2.7）。它的任务是根据真实的痕迹数据，撰写一份完整的SKILL.md文件。提示词强制要求采用“渐进式披露”结构：
   • 何时使用（When to Use）：清晰描述触发此技能的场景。
   • 预检（Pre-flight）：执行前需要检查的条件（如“确保Docker服务已运行”）。
   • 核心指令（Instructions）：分步骤的具体操作。
   • 错误恢复（Error Recovery）：针对痕迹中观察到的常见错误，提供解决方案。
   • 反模式（Anti-Patterns）：列出应避免的做法，通常来源于用户的纠正记录。
2. 审查器（Reviewer）：通常配置为擅长批判性思考的模型（如DeepSeek Chat）。它基于一套结构化标准（触发精度、指令特异性、反模式是否基于真实数据、安全性）对生成的技能进行评审，给出APPROVE（批准）、REVISE（要求修订，有一次重试机会）或REJECT（拒绝）的裁决。

注意事项：双模型设计并非为了炫技，而是有扎实的研究依据。独立审查机制被证明能将输出准确性提升8-11%。在配置时，你可以为生成器和审查器选择不同的模型提供商，以平衡成本、速度和效果。例如，用速度快的本地模型做生成，用能力强但贵的云端模型做审查。

3.2 阶段四至六：验证、评分与你的批准

4. 验证（Validate）生成的技能在送达你面前之前，必须通过安全验证器的23项检查。这是一个静态分析过程，不涉及LLM，速度极快。检查类别包括：

• 注入类：检测各种形式的提示注入指令。
• 凭证泄露：扫描明文API密钥、密码、令牌，甚至Git凭证URL和Telegram机器人令牌。
• 持久化攻击：严防对SOUL.md、MEMORY.md、IDENTITY.md等关键身份文件的写入操作。
• 逃逸与混淆：检测Base64编码的有效载荷、利用同形异义字的域名（IDN攻击）。
• 路径遍历：确保文件操作被限制在工作区边界内。 任何一项检查失败，该技能提案会被直接拒绝，并记录原因。

5. 评分（Score）对于系统中已存在的技能，AceForge不会视而不见。它会定期（通常在每次agent_end钩子触发时）对已部署技能进行质量评分。

• 结构分：基于技能文件的文本质量。
• 覆盖分：比对新产生的痕迹数据与技能当前内容的匹配度。如果用户最近开始用新参数，或者出现了新的错误模式而技能文档未覆盖，覆盖分就会下降。
• 综合评分：加权计算得出。低于40分的技能，系统会确定性（无需LLM）地提议升级；高于70分的技能，被认为状态良好；只有在40-70分这个“模糊区间”，才会触发LLM法官进行语义评估，决定是否需要升级。

6. 批准（Approve）所有通过验证和评分的技能提案（无论是全新的，还是对旧技能的升级），都会进入待批准队列。你必须通过/forge approve <编号>命令来明确部署它。这是你作为人类监督者的最终控制点。

3.3 阶段七至十二：部署后的生命周期管理

技能被批准后，其旅程并未结束，而是进入了持续的进化周期。

7. 部署（Deploy）技能被写入到skills/目录下的独立SKILL.md文件中。同时，系统会记录一个“性能基线”，用于后续的A/B测试比较。

8. 进化（Evolve）这是AceForge最精妙的部分之一。当某个技能积累了大量（例如50次以上）新的使用痕迹后，系统不会粗暴地从头重新生成，而是启动“进化”流程。

• 基于增量的修订：LLM生成器收到的提示词只包含自上次部署以来的新数据（新的成功模式、新的失败、新的纠正），并要求它在保留原有有效内容的基础上进行更新。这模仿了人类专家迭代文档的方式，保留了历史智慧。
• 里程碑提炼：在技能激活次数达到500、2000、5000等里程碑时，会运行一个更深入的SRLR（总结-反思-定位-修订）循环。这个过程会分析整个痕迹语料库，识别技能指令与实际使用之间的偏差，并产生一份可操作的报告（可通过/forge distill查看）。

9. 退休（Retire）技能不会永生。AceForge有一个“凋亡检测”机制，会持续监控技能的激活频率和成功率。长期未被使用或成功率持续下降的技能会被标记为“待退休”候选，并通知你。退休前，系统会进行A/B测试，确保新技能（如果有）确实优于旧技能。

10. 传播（Propagate）学习不应局限于单次会话。AceForge会将所有会话中的模式数据聚合到一个持久化的状态中。如果一个工具在多个会话中被重复使用但尚未形成技能，它会被标记为“跨会话候选”，提高其成为技能的优先级。

11. 组合检测（Compose）智能体的高级能力往往由多个基础技能组合而成。AceForge会检测技能之间的“共激活”模式。如果两个技能在超过50%的会话中（且至少3个会话）被连续或接近连续地调用，系统会将其报告为潜在的组合技能候选，为未来实现更复杂的DAG（有向无环图）工作流编排奠定基础。

12. 验证（Validate）——持续进行部署后的技能会接受定期的“健康测试”，确保其引用的CLI命令、文件路径、API端点仍然是可用的。同时，“对抗性测试套件”会定期运行，确保安全验证器本身没有漏洞。

4. 实战配置与核心操作指南

理解了原理，我们来看看如何让AceForge在你的OpenClaw环境中跑起来，并发挥最大效用。

4.1 安装与基础配置

安装非常简单，一条命令即可：

openclaw plugins install aceforge

安装后，需要重启OpenClaw网关以加载插件：

openclaw gateway restart

使用openclaw plugins list | grep aceforge来验证安装成功。

核心配置：LLM提供商AceForge的核心——生成器和审查器——是提供商无关的。你几乎可以使用任何支持OpenAI兼容API或Anthropic原生API的模型服务。配置主要通过环境变量进行。

一个典型的、使用OpenAI GPT-4o作为双模型的配置如下：

export ACEFORGE_GENERATOR_PROVIDER=openai export ACEFORGE_GENERATOR_API_KEY=sk-your-openai-key-here export ACEFORGE_GENERATOR_MODEL=gpt-4o export ACEFORGE_REVIEWER_PROVIDER=openai export ACEFORGE_REVIEWER_API_KEY=sk-your-openai-key-here export ACEFORGE_REVIEWER_MODEL=gpt-4o

如果你想降低成本，可以采用混合策略：用便宜/本地的模型做生成，用强大的模型做审查。例如，使用本地Ollama的Llama 3生成，用云端GPT-4o审查：

export ACEFORGE_GENERATOR_PROVIDER=ollama export ACEFORGE_GENERATOR_URL=http://127.0.0.1:11434/v1 export ACEFORGE_GENERATOR_MODEL=llama3 export ACEFORCE_GENERATOR_API_KEY=not-needed export ACEFORGE_REVIEWER_PROVIDER=openai export ACEFORGE_REVIEWER_API_KEY=sk-your-openai-key-here export ACEFORGE_REVIEWER_MODEL=gpt-4o

通知渠道配置AceForge会通过通知告诉你新提案、技能升级等信息。它支持OpenClaw的所有渠道（Telegram, Slack, Discord等），并自动检测。你也可以手动指定：

export ACEFORGE_NOTIFICATION_CHANNEL=slack export ACEFORGE_SLACK_WEBHOOK_URL=https://hooks.slack.com/services/your/webhook/url

4.2 核心命令详解

AceForge的所有功能都通过/forge命令及其子命令来访问。

仪表盘与核心管理

• /forge：打开综合仪表盘。这是你每天最应该看的界面，它展示了待批准的提案、已部署的技能列表、检测到的能力缺口以及系统状态概览。
• /forge list：列出所有技能的状态（活跃的、提案中的、已退休的）。
• /forge approve <n>//forge reject <n>：批准或拒绝编号为n的提案。你可以用reject all一次性拒绝所有待处理提案。
• /forge upgrade <n>：部署一个技能升级提案，并自动退休旧版本（会经过安全验证）。
• /forge rollback <n>：如果升级后效果不好，可以用此命令回滚到上一个版本。

诊断与洞察

• /forge quality <n>：对指定技能运行质量评分，并给出详细的结构分和覆盖分 breakdown。这是了解一个技能健康度的最佳方式。
• /forge gaps：列出所有检测到的能力缺口。这包括工具调用失败、智能体的“回退”、“请求许可”、“不确定”等语言模式，以及基础设施缺失问题。这是发现智能体薄弱环节的雷达图。
• /forge watchdog：运行有效性检查，标记出那些在A/B测试中表现不如基线版本的技能（即升级可能反而导致了性能下降）。
• /forge preview <n>：在批准前，以更人性化的格式预览提案技能的内容摘要，而不仅仅是看原始的SKILL.md文件。

高级智能与进化操作

• /forge tree：可视化展示能力树。技能被按领域（如exec-docker,read-code）递归分类，并显示每个领域的“缺口分数”。分数高的领域是你的智能体最需要加强的地方。
• /forge evolve <n>：手动触发对指定技能的LLM进化修订。系统会展示基于新痕迹的修订建议和统一差异（diff）。
• /forge distill <n>：查看指定技能在最近一个里程碑的SRLR提炼报告，了解实际使用与技能设计之间的偏差。
• /forge captures：查看那些“一次性成功”的捕获记录。当智能体成功使用了一个全新的、没有对应技能的工具时，这个成功案例会被捕获以供审查。
• /forge test：对所有已部署技能运行健康测试，检查CLI命令、文件路径、API端点是否可用。

4.3 与OpenViking等生态组件的集成

AceForge被设计为OpenClaw生态中的一环，可以与其他组件协同工作。

• OpenViking：一个上下文引擎。AceForge可以利用OpenViking提供的近期对话或任务上下文，来生成更“接地气”的挑战场景，用于测试技能的健壮性。只需设置ACEFORGE_VIKING_URL环境变量指向你的OpenViking实例即可。集成了断路器模式，避免因Viking服务不可用而阻塞主流程。
• 共享技能库：通过设置ACEFORGE_SHARED_SKILLS=true，可以将批准的技能部署到全局目录（~/.openclaw/skills/），让同一个OpenClaw实例下的所有智能体代理都能共享这些技能，实现跨代理的知识传递。

5. 避坑指南与高级技巧

在实际部署和运行AceForge的过程中，我总结了一些关键的经验和容易踩的坑。

5.1 初始部署与数据积累

问题：安装后，为什么很久都没有技能提案？这是最常见的问题。AceForge需要数据。它不会凭空创造技能，而是基于观察到的工具使用痕迹。在安装初期，你的智能体可能还没有产生足够多、足够重复的工具调用模式。

• 解决方案：主动让你的智能体去执行一些你希望它未来能自动化的、重复性的任务。例如，让它在不同项目中运行类似的Docker命令、执行相同的代码审查步骤、调用特定的API。通常，在密集使用几天后，第一批提案就会出现。
• 技巧：使用/forge命令查看“模式”部分，你能看到哪些工具被调用了多少次，距离“结晶阈值”还有多远。这能给你一个直观的进度条。

5.2 技能质量与审查策略

问题：生成的技能描述太笼统或不够准确怎么办？AceForge的生成质量很大程度上依赖于痕迹数据的质量和LLM模型的配置。

• 检查痕迹数据：确保你的工具在调用时，传递了清晰、有意义的参数。模糊的参数会导致模糊的技能描述。
• 调整LLM提示：AceForge的生成器提示词是精心设计的，但如果你有特定需求，可以考虑微调（这需要修改源码）。不过，更简单的方法是利用“纠正”功能。当智能体使用技能出错时，直接用自然语言纠正它（如“不对，这个命令需要先切换到项目根目录”）。AceForge会捕获这个纠正，并在下次进化该技能时，将其作为“反模式”或“新增指令”融入进去。这是教会AceForge的最自然方式。
• 善用“修订”与“拒绝”：审查器（Reviewer）的裁决不是绝对的。如果你认为一个被“批准”的技能不够好，或者一个被“拒绝”的技能其实有价值，你可以手动干预。对于质量不佳的提案，果断reject。对于接近合格但有小问题的，你可以先approve，然后立即使用/forge evolve命令，结合你的反馈手动触发一次修订。

5.3 性能与成本优化

问题：LLM调用会不会很贵？如何控制成本？AceForge在设计上已经考虑了成本控制。

1. 混合评分模型：如前述，只有评分在40-70之间的技能升级提案才会触发LLM法官，大部分低分（确定性升级）和高分（无需行动）的情况都避免了LLM调用。
2. 进化而非再生：技能进化时，只向LLM发送增量数据，而不是完整的痕迹历史，减少了提示词长度和成本。
3. 速率限制：默认限制为每轮分析周期最多8次LLM调用，每次间隔2秒，防止意外循环导致的费用激增。
4. 模型选型：你可以为生成器和审查器选择不同价位的模型。生成器可以选择性价比高的模型（如DeepSeek、本地模型），审查器可以选择更精准但稍贵的模型（如GPT-4o）。

5.4 安全与权限管理

问题：我担心自动生成的技能会有安全风险。你的担心是合理的，这也是AceForge将安全作为核心的原因。

• 理解安全边界：AceForge的验证器是静态的，它检查的是技能文件文本内容中的风险模式。它无法动态执行技能来检测运行时风险。因此，最终的安全责任在于批准者（你）。在批准一个涉及高危操作（如rm -rf、数据库删除）的技能前，务必仔细阅读其指令和反模式。
• 利用健康测试：定期运行/forge test。这能帮你发现那些因为环境变化（如某个CLI工具被卸载）而“失效”的技能，避免智能体在需要时调用一个注定失败的危险命令。
• 审计与版本控制：养成查看/forge history和/forge diff的习惯。每次升级改变了什么，一目了然。如果一次升级引入了你不喜欢的改动，可以立即rollback。

5.5 处理“技能冲突”与“描述优化”

问题：系统提示有两个技能描述相似，或者我觉得智能体找不到我想要的技能。

• 技能冲突检测：AceForge内置了基于Jaccard相似度和双字母组（bigram）的混合检测算法，会自动阻止描述重叠度超过95%的技能提案，并在重叠度超过80%时发出警告。如果收到警告，你需要人工判断这两个技能是真正的重复，还是解决了相似但略有不同的问题。如果是后者，你可以手动优化其中一个技能的“何时使用”部分，使其触发条件更加特异。
• 描述不匹配：这是社区技能库的痼疾。AceForge的“描述优化”模块会定期计算技能触发描述与你实际对话语言的词汇重叠度。如果低于30%，该技能会被标记。你可以通过/forge optimize查看报告，并考虑手动优化技能描述，使其更符合你自然的说话方式。记住，描述就是技能的“搜索引擎关键词”。

6. 从项目到实践：构建自进化智能体的路线图

将AceForge集成到你的OpenClaw工作流中，不仅仅是一个技术安装动作，它意味着你开始采用一种数据驱动、持续改进的智能体运维理念。

第一阶段：观察与播种（第1-2周）

1. 正常使用你的OpenClaw智能体，执行日常开发、运维任务。
2. 关注/forge仪表盘，查看工具调用模式和初步的技能提案。
3. 对于早期的提案，即使不完美，也可以尝试批准1-2个，观察智能体如何使用它们。使用/forge quality跟踪其表现。
4. 关键动作：积极使用自然语言纠正。这是为技能注入你领域知识的最快途径。

第二阶段：优化与扩展（第3-4周）

1. 分析/forge gaps报告，识别智能体的系统性弱点。是否有某个领域的工具它总是用不好？是否有它经常“推脱”的任务？
2. 针对这些缺口，设计一些任务，引导智能体去使用相关工具，为AceForge“喂养”数据。
3. 审查/forge compose的输出，看看是否有经常连续使用的技能组合。这可能是你构建更高阶、复合型技能的起点。
4. 调整LLM配置。如果你对生成质量不满意，尝试更换生成器模型。如果审查过于严格或宽松，可以调整审查器模型或阈值。

第三阶段：系统化与维护（长期）

1. 将/forge test和/forge watchdog纳入定期检查清单（例如每周一次）。
2. 定期审查/forge tree，规划智能体的能力发展路线图。
3. 对于成熟且稳定的技能，考虑将其从“个人技能库”通过ACEFORGE_SHARED_SKILLS提升为“团队共享技能库”。
4. 关注AceForge项目的更新。作为一个活跃的开源项目，其验证规则、检测算法和集成能力都在持续进化。

AceForge的本质，是将你从“技能作者”的繁重劳动中解放出来，转变为“技能教练”和“质量守门员”。你不再需要预判所有需求并编写冗长的指令，而是专注于引导、纠正和批准。让智能体在真实世界的交互中自己学会“怎么做”，并将这些学会的东西固化下来。这个过程开始时可能感觉缓慢，但随着技能库的雪球越滚越大，你的智能体会以肉眼可见的速度变得更能干、更可靠，最终成为一个真正理解你工作习惯并不断自我完善的数字伙伴。