当前位置: 首页 > news >正文

79、昇腾系列服务器/昇腾系列推理卡/昇腾系列嵌入式开发板+Dify+one api部署DeepSeek-R1-Distill-Qwen-32BW8A8+RAG本地模型知识库和负载均衡双实例

基本思想:使用昇腾NPU处理芯片+昇腾Mindie推理框架+embeding分词+排序进行dify支撑,对外部客户使用,因为整套华为昇腾处理架构为aarch64位,所以整体docker镜像使用arm镜像,本教程以Atlas 800 9000为基础进行部署和测试,本博客的时间点为2025年2月23日,镜像文件和教程仅限于目前官方支持的驱动版本,后续官方有版本更新,一切以昇腾官网为基准;目前测试昇腾的硬件平台都是支持本文部署,抛开项目背景,进行简要部署记录,所有部署一定要以昇腾的硬件为基础;

第一步:先向昇腾方申请设备,申请到Atlas 800 9000服务器,使用昇腾官方提供的账号和密码保证可以登录上服务器;离线环境安装包路径:https://dl-cdn.openeuler.openatom.cn/openEuler-24.03-LTS-SP1/everything/aarch64/Packages/

(1)更新一下驱动,因为昇腾官方的提供的镜像需要指定版本的驱动固件,

http://www.jsqmd.com/news/464639/

相关文章:

  • hivesql执行逻辑及顺序
  • 八股文笔记——操作系统
  • 嘎嘎降AI vs 千笔AI vs PaperYY:三款主流降AI工具谁更值得买
  • Python学习笔记1
  • Shell函数-4
  • Pycharm通过代码注释实现代码折叠
  • Shell编程-5
  • 豆包+Kimi降AI指令大全:25条实测有效的提示词分享
  • 安装linux系统
  • 比话降AI使用教程:知网专用降AI工具从入门到精通
  • Linux文件管理
  • 【Gormacs】Gromacs伞形采样原理
  • tomcat优化
  • OpenAI Gym 介绍
  • Linux优化-ssh配置
  • 论文分段降AI效果翻倍?手把手教你正确的段落式降AI技巧
  • ansible初体验
  • Shell编程-2
  • Linux核心文件和系统巡检
  • ansible剧本与变量
  • 基于SpringBoot实现的校园活动管理系统设计与实现
  • AutoDl-较大文件上传最快方法
  • 【redis】redis重新创建集群
  • 【限时免费】 claudecodeui:AI编程助手可视化界面
  • 对学生信息管理系统的改进
  • Shell编程-3
  • WSL端口代理配置全攻略:从零开始实现本地IP访问(附常见问题排查)
  • ansible变量-循环-判断-jinja2模板
  • 5分钟搞定Flink1.19本地部署:用JDK17运行WordCount示例教程
  • 7步掌握 Angular 项目的 Pull Request 评审流程:从提交到合并的完整指南