当前位置: 首页 > news >正文

一个接口调用三个模型,我只用了一个反向代理

最近项目里接了三个模型——Qwen做长文本总结,DeepSeek做代码生成,千帆做特定领域问答。每个模型都有自己的SDK和鉴权方式。 最初的版本是前端直接分别调三个接口,代码散落在各种service里,切换模型要改业务代码。更烦的是计费——三个供应商的费用要分别算,月底对账很头疼。 后来我加了一层反向代理,整体架构变成了:前端→统一网关→模型路由表→供应商。 核心实现就三步: 1. 前端只调一个 /api/chat 接口,请求体里加一个 model 字段 2. 网关根据 model 字段查路由表,匹配供应商和真实endpoint 3. 做一个简单的协议适配层——OpenAI格式进来,千帆格式出去 Qwen的DashScope和DeepSeek的OpenAI兼容格式差异不大,主要是千帆需要先用API Key换access_token,这个token有两小时有效期。我在内存里做了个带过期时间的缓存,并发情况下用singleflight避免重复请求。 计费方面,在每个请求的响应拦截器里记录token使用量,按供应商的单价换算成人民币,写到独立的计费表。月底直接拉报表。 踩过的坑: - 千帆的流式返回和标准SSE有细微差异,content字段名不一样,需要额外做字段映射 - DeepSeek的token计数方式比较特别,同样一段中文比Qwen多算30%的token - 高峰期并发量大时,千帆的access_token刷新成为瓶颈,后来换了互斥锁+提前刷新解决了 这个方案的代码量不大,核心就一个路由表和两个适配器。但带来的收益很明显——切模型零代码改动,计费统一,新增供应商只需要加一行路由配置。 如果你也在做多模型接入,可以试试这个思路。

http://www.jsqmd.com/news/1078938/

相关文章:

  • 想找靠谱花槽工厂?这几家实力过硬口碑佳值得你关注
  • 【会员专享数据】2001—2025年我国省市县三级的逐年植被净初级生产力(NPP)数据(Shp/Excel格式)
  • Coding 真有质的飞跃?实测下豆包seed 2.1 pro
  • 高维流形标量曲率C0收敛的定量估计与Ricci流方法
  • 2026年马来西亚榴莲与泰国榴莲选购指南:教你选到心仪美味
  • 如何挑选性价比高的塑料模具工厂?内行人的这几个建议太实用了
  • 卡梅德生物技术快报|核酸适配体合成全流程实操踩坑汇总:噬菌体千亿文库标准化参数复盘
  • 基于密码学的工业物联网(IIoT)分层纵深安全体系完整研究方案
  • ytarchive:YouTube 直播录制,从开播那一刻开始
  • 安卓开发 -- 实现累计当天计时(实例:实现记录当日累计运动时间)
  • Media Encoder ME2026安装包免费下载及详细安装教程
  • 基于协方差保持高斯零模型的Mapper算法亚型发现有效性验证
  • 2026年学生补脑营养品测评排行榜:真实数据告诉你哪家强
  • 前端唯一的护城河?结合 AI 将字节组件库 Headless 化后的感想~
  • 猫抓浏览器扩展深度指南:从资源嗅探到M3U8解析的完整解决方案
  • MaxDiff调研模型怎么用?从设计、分析、问卷平台选型的实战指南
  • 构建高适应性系统:从插件化架构到统一数据模型的设计实践
  • 从Miller-Rabin到确定性素数检验:二次域框架下的Kpℓ−1型数证明
  • 长音频离线流式识别 · 生成字幕
  • ENDO 2026 | 怡培生长激素基于IGF-1水平的剂量调整研究
  • 终极指南:如何在Unreal Engine中实现运行时音频导入功能
  • 问卷分支逻辑怎么设?2026年问卷平台选型与零基础上手实操教程
  • 青椒预算捉襟见肘!68元月豆包vs医学垂直AI,性价比实测对比
  • Awesome-POC:1000 多个漏洞 PoC,全按类别整理好了
  • 《认知红利》书摘2
  • 矿山数字化安全升级,一文读懂 AI 视觉在煤矿落地场景与核心价值
  • 江西单招升学如何稳上岸?铸人职教升学本土多年教研,助力学子圆梦公办大专
  • 三大技术革新重塑远程控制:billd-desk开源跨平台解决方案深度解析
  • Scraping APIs for Developers:2622个现成爬虫API,开发者的工具箱
  • Java Map 循环:遍历方式与性能对比