当前位置: 首页 > news >正文

conda创建虚拟环境并不会自带python;模型服务化后的路由层的设计思路;模型服务落盘文件设计思路;

conda创建虚拟环境并不会自带python

今天用conda创建虚拟环境偷懒,没有指定python版本;
原以为conda会模型安装较新的python版本,然而conda没有默认安装,导致了以下问题;

  • 在vscode中配置python解释器,一直没有找到“偷懒创建的虚拟环境”;
  • 后面通过路径找到了“偷懒创建的虚拟环境”;

然而这个虚拟环境没有/bin/python,我才意识到“偷懒创建的虚拟环境”并不会自动安装python,习惯性的以为安装了;
只是一个创建虚拟环境的小问题,耽误了一点点时间;


模型服务化后的路由层的设计思路;

现在有很多模型不单单只是一个模型推理,往往伴随很多附加的东西,比如:
paddle的PP-StructureV3文档解析产线,包含了表格模型推理,文本检测模型,文本识别模型等等
语音转文字funasr产线,包含vad_model对空白语音切断,减少输入语音大小,提高效率。
由此就需要切换产线的操作,通过从接口处传入query 参数,切换产线,就深入研究了一下路由的设计思路。
目前有两种路由设计方式,一种是单路由 + 传参,另一种是多路由。

方案 本质
单路由 + query传参 数据驱动(Data-driven)
多路由 拓扑驱动(Topology-driven)

单路由 + query传参优缺点:

  • 优点:路由数量稳定、不会随着模型数爆炸、更容易自动化
  • 缺点:限流 / 权限 / 超时不够细

多路由优缺点:

  • 优点:独立限流、独立超时、独立权限
  • 缺点:路由膨胀、文档膨胀、SDK 难维护、版本管理困难

显然目前我的项目更倾向于单路由 + query传参,目前没有复杂到需要多路由的地步,有点过度设计了。


模型服务落盘文件设计思路;

由于一个文件进入我的ai模型系统,可能需要调用许多模型服务;
以前没有区分外部上传文件和内部传path的接口区别,部分模型服务优化后,新增了内部path接口;
为了防止文件在服务器内存传来传去,浪费资源,就深入研究了一下落盘文件的设计思路。

目前的现状是:文件上传到模型调用平台的文件不用落盘,直接通过http访问本机端口的模型服务

问题在于是否跨边界

  • 模型服务与平台是否在同一进程或同一服务内;
  • 是不是通过 HTTP 再调一次模型服务;

都是判断的是否跨边界的关键。

根据以上条件判断,我现在在做的模型本地化已经跨了边界;

即使都在一台机器上,也会发生:

  • 内存 → 序列化
  • 用户态 → 内核态
  • TCP / HTTP 协议栈
  • 反序列化 → 内存

根据以上信息,选择方案


http://www.jsqmd.com/news/333845/

相关文章:

  • 医疗器械有源加速老化验证
  • 菏泽市英语雅思培训机构推荐2026权威测评出国雅思辅导机构口碑榜单 - 老周说教育
  • 【Linux命令大全】008.磁盘维护之sync命令(实操篇)
  • 德阳市英语雅思培训机构推荐,2026权威测评出国雅思辅导机构口碑榜单 - 老周说教育
  • 【毕设】基于Python的Django-html基于机器学习的文本情感系统
  • SSM毕设选题推荐:基于ssm的门面商铺租赁管理系统的设计与实现基于Java+MySQL+SSM商铺租赁管理系统设计与实现【附源码、mysql、文档、调试+代码讲解+全bao等】
  • DeepSeek-OCR 2深度解析:AI如何“像人一样看世界“,小白必学,程序员必藏!
  • 莫凡电视:全国地方台全覆盖 核心技术解析
  • <span class=“js_title_inner“>从“严刑峻法”到“约法三章”:打天下与治天下的治理智慧,穿透历史照进现代管理</span>
  • 计算机SSM毕设实战-ssm实现基于java web的公益网站的设计与实现基于ssm的高校环保公益网站的设计与开发【完整源码+LW+部署说明+演示视频,全bao一条龙等】
  • 招了个前端女生,才三天就被劝退了[特殊字符]
  • 【毕设】基于机器学习新闻文本分类系统论文
  • 基于着色模型的LBM两相流模拟实现与解析
  • IT行业转行大模型:五大热门岗位揭秘,抓住IT行业最后的风口!就在大模型!
  • 低代码+数据挖掘:别被“快速落地”忽悠,3个技术硬伤亟待破解
  • Java程序员一定要会Netty!
  • 题解:P15049 [UOI 2022 II Stage] 图 2
  • 机器学习算法基本型 聚类(笔记)
  • 计算机SSM毕设实战-基于ssm+vue的“e博士”高考志愿辅助填报系统的设计与开发【完整源码+LW+部署说明+演示视频,全bao一条龙等】
  • 37岁程序员转行大模型?一篇说清实操方法
  • 闭眼入!10个AI论文软件深度测评,本科生毕业论文写作必备工具推荐
  • 计算机SSM毕设实战-基于ssm的商铺租赁管理系统的设计与实现基于SSM框架的门面房屋租赁管理系统项目【完整源码+LW+部署说明+演示视频,全bao一条龙等】
  • <span class=“js_title_inner“>从商鞅变法到团队管理:能复制的强大,从来都不靠“能人”</span>
  • 大模型(LLM)完全指南:AI范式转变与认知基础设施详解
  • 2026国内最新硅酮胶生产商top5推荐!江苏、山东、云南、成都等地优质优质硅酮胶品牌权威榜单发布,多场景适配的高品质硅酮胶精选推荐 - 品牌推荐2026
  • java毕设选题推荐:基于java的短剧推荐系统设计与实现基于Java+SSM的短剧推荐系统设计与实现【附源码、mysql、文档、调试+代码讲解+全bao等】
  • 大模型四大支柱RAG/Skill/Memory/Workflow实战指南:从概念混淆到产业落地
  • 无人机城市管理“AI+虚仿”创新实训室,开辟城市管理产教融合智慧职教新路径
  • 2026Java程序员金三银四面试突击有它就够了!
  • LLM智能体架构设计与评估体系详解:从理论到实践,建议收藏