当前位置: 首页 > news >正文

Octafuse Gateway 2.1 发布:不只管大模型,Agent 的每一次工具调用也都管起来!

exec-585d78de-7717-4aea-8832-3d73050d9d3a

过去我们的 AI 网关,绝大多数的更新关注点在以下几个方面:

  • 如何统一接入 OpenAI、Anthropic、Gemini 等协议
  • 如何在多个 Provider 之间路由和故障转移
  • 如何管理 API Key、预算、Token、成本与调用日志

但当 Agent 真正进入业务,模型调用只是链路的一部分。它还会搜索网页、抓取正文、做深度检索,甚至调用 AI 率检测等垂直能力。如果这些工具各自维护密钥、价格、账单和日志,系统很快又会回到“每接一个能力,就多一套烟囱”的状态。之前我们已经做了一些 Agent 工具的接入,但是对于统一管控还是远远不足。所以,Octafuse Gateway 2.1.0 的重点,就是把这些模型之外的 AI 能力也纳入网关。

开源地址:https://github.com/OctaFuse/octafuse-gateway

1. 新增 AI 率检测 工具

在之前的版本中我们已经接入了 Web Search、Web Fetch、Web Deep Search 工具,每个工具都各自接了国内国外最知名的几家供应商,用户只需要去拿 Key 来配置就可以使用。

在这次的 2.1.0 版本中,我们有新增了一个常用工具:AI 率检测

实现端点:POST /v1/tools/ai-detection

调用方只需提交待检测文本,Gateway 会完成:

  1. 用户 API Key 鉴权
  2. 预算预检
  3. 长文本自动分段
  4. 调用当前启用的检测引擎
  5. 汇总整体评分与分段结果
  6. 成功后记录费用并扣减预算
  7. 写入统一请求日志

当前已实现腾讯云 TMS 引擎,计费按字符单元计算。技术分段与计费单元彼此独立,后续切换或扩展检测引擎时,客户端不需要跟着理解供应商细节。

在后面的版本中,我们会再持续接入更多供应商和其他工具,敬请期待。如果您也在用 Octafuse Gateway,并且希望增加什么好用的工具,也可以提交 PR 一起增强我们的工具引擎。

2. 四类 Agent Tools,开始使用同一套运营体系

目前 Octafuse Gateway 已支持:

  • Web Search:联网搜索
  • Web Fetch:网页正文抓取
  • Web Deep Search:搜索与正文读取一体化
  • AI Detection:AI 生成概率检测

它们统一使用 /v1/tools/* 对外提供服务,并共享用户鉴权、预算、计费、日志与审计能力。

对客户端来说,只需要一把 Octafuse 用户 Key。对运营侧来说,可以在 Admin 中分别配置每种工具的引擎、密钥和价格。

这意味着 Agent 不必再直接持有一组搜索服务密钥、一组抓取服务密钥和一组检测服务密钥。能力由 Gateway 管理,客户端只关心稳定的产品 API。

3. 一次工具调用,就能完成三个维度的账本记录

2.1.0 将 Agent Tools 的记账体系向 AI 模型路由的记账体系看齐,统一为三账本:

  • standard:目录标准价
  • metered:供应侧实际成本
  • charged:用户实际计费

只有 charged 会累加到用户的 budget_spent(用户已用额度)。

过去一句“这次调用花了 0.01”,很难说明它究竟是上游成本、公开售价,还是用户最终支付金额。现在三种口径分开记录,运营人员可以更清楚地看到:

  • 上游实际成本是多少?
  • 对外目录价是多少?
  • 用户最终扣了多少?
  • 单次调用留下多少利润空间?

这样用户业务系统可以更关注复杂的业务本身,对于模型、工具的使用和记账完全不用混入业务系统!

4. 门户可以先查价格,再让用户确认调用

2.1.0 为 Gateway 提供的工具引擎提供了一个只读接口:

GET /v1/tools/pricing

用户的门户、系统或客户端可以在发起工具调用前读取:

  • 计费币种
  • 工具计费方式
  • 字符计费粒度
  • 供应成本、目录价和用户价

该接口不会返回引擎密钥,也不会向客户端暴露当前 Active 引擎名称。客户端面向的是稳定的 Octafuse Tools 产品能力,而不是某一家供应商的实现细节。

5. Admin 不只是“能配置”,还要“能运营”

本次 Admin 同步增强:

  • Tools 配置页支持全局控制敏感凭证显隐
  • 调用记录展示供应成本、目录价、用户计费与利润
  • Request Logs 区分 Agent Tools 与上游模型调用
  • 日志展示实际引擎 Provider,便于运营排查
  • Playground / Simulator 支持 AI Detection 联调
  • 删除仍被模型路由引用的 Provider 时会拒绝操作,避免误删造成断路由

从配置、测试,到真实请求、计费和日志核对,工具能力形成了更完整的管理闭环。

6. 为什么我们把工具引擎单独抽成一个包?

2.1.0 新增共享包 @octafuse/tool-engines

Web Search、Web Fetch、Web Deep Search、AI Detection 的引擎客户端不再散落在 Proxy 内部,而是由 Proxy 和 Admin Playground 共同复用。

这项变化用户不一定直接看得见,却让后续新增引擎、测试能力和维护协议边界更清晰。Docker 构建也已纳入该包,并增加 docker-compose smoke workflow。

写在最后

2.0 解决的是“模型请求该怎么走”;2.1 开始解决“Agent 调用了什么能力、成本多少、该收多少、能不能审计”。

Octafuse Gateway 正在从一个多模型转发层,继续向可自托管的 AI 能力总控服务演进。

如果你的 Agent 已经不只会聊天,而是会搜索、抓取、分析并调用更多外部能力,那么这些调用也值得拥有统一的入口、预算和账本。

开源地址:https://github.com/OctaFuse/octafuse-gateway

欢迎 Star、试用和提交 Issue / PR。

点击加入交流群:为下半场做准备,开个 Agent Infra 交流群

http://www.jsqmd.com/news/1316480/

相关文章:

  • 苹果产品线涨价背后的商业逻辑与行业影响分析
  • AI编程助手时代:从代码实施者到问题定义者的工程师转型
  • 如何用AI智能工具layerdivider一键分离插画图层?
  • 如何高效获取国家中小学智慧教育平台电子教材PDF:智能解析下载工具完全指南
  • 如何实现微信聊天记录永久保存:WeChatMsg开源工具终极指南
  • Android设备信息获取全解析:从Build类到生产级工具类实现
  • 提示词写不好=浪费GPU小时!,SD生成效率暴跌63%的元凶竟是这6个语法陷阱
  • 李永慧律师(北京恒略律师事务所)16601232889(微信同号) - 北京普法者
  • NotchSolution终极指南:解决Unity移动端刘海屏布局难题的完整方案
  • YimMenu游戏修改器:GTA5终极DLL注入安全防护完整指南
  • 2026 深圳搬家收费标准详解:各类附加费汇总,靠谱搬家品牌盘点与防坑指南 - 禧燕搬家
  • ADB文件传输自动化:批处理脚本实战与避坑指南
  • 提升android-yolo检测性能:20类Pascal VOC目标识别优化技巧
  • 大模型迭代策略与工程实践:从分批发布到科学评估的完整指南
  • 3步解锁Python PDF处理终极能力:pypdf实战探索指南
  • RFID卡片克隆教程:使用ESP32-Bit-Pirate复制UID卡
  • AI眼镜独立化革命:从硬件架构到应用开发的全面解析
  • 洛谷P2032 扫描
  • 【智元机器人技术解析】本体、数据与具身大模型如何走向规模部署
  • 跑了长沙5家商圈店,食材品质好的火锅吃着确实舒服
  • android-yolo震撼发布:首个基于TensorFlow的Android实时目标检测应用
  • PyPDF2技术架构深度解析:高效PDF处理的实现原理与性能优化
  • 美光市值跃迁背后:HBM技术如何重塑AI硬件生态与存储行业格局
  • Windows平台PDF处理方案:Poppler-Windows技术实现与应用指南
  • 旧金山百万年薪为何仍租不起房?成本解构与生存策略
  • Obsidian终极美化指南:20个免费CSS片段打造个性化知识库
  • 古董代码GPU加速实战:从70年老算法到40卡性能狂飙
  • 未来展望:NFSIISE开发路线图与社区贡献指南
  • Claude Code工作流自动化:从代码补全到后台执行的AI编程革命
  • PingFangSC字体跨平台部署解决方案:现代Web应用的中文字体优化技术指南