当前位置: 首页 > news >正文

私有化部署DeepSeek并SpringBoot集成使用(附UI界面使用教程-支持语音、图片)

私有化部署DeepSeek并SpringBoot集成使用(附UI界面使用教程-支持语音、图片)

windows部署ollama

Ollama 是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计

下载ollama

下载地址(mac、linux、windows):https://ollama.com/download
github 的Releases地址:https://github.com/ollama/ollama/releases
下载可能限速,我选择使用阿里云服务器下载然后再ftp下载到本地

wget https://github.com/ollama/ollama/releases/download/v0.5.8-rc10/OllamaSetup.exe

我下载的版本为v0.5.8-rc10

ps:这里提供一个github加速网站
https://github.akams.cn/

安装ollama

下载完毕后,直接点击安装(默认安装C盘,确保你的C盘有10G以上的空间)
打开cmd 输入 ollama ,如果有usage提示,那么说明安装成功
注意,关闭ollama进程,然后再执行下面的步骤,因为安装后默认程序已经打开了

如何验证是否安装成功?
ctrl+r 进入cmd
输入

ollama

如果出现下面的界面说明安装成功

配置ollama环境变量

这一步是为了确保你以后下载的模型都放在别的地址(因为默认安装到C盘,这里可以将模型下载到别的盘)
打开【系统环境变量】,新建一个系统环境变量{OLLAMA_MODELS}值为{D:ollamamodels}

配置ollama端口(可选)

默认地址为http://localhost:11434
配置端口 新建一个系统环境变量{OLLAMA_HOST}值为{0.0.0.0:8080}
为什么要改?因为后面用webui里面用的8080,所以我把这里的端口改了

配置ollama跨域(可选)

配置跨域 新建一个系统环境变量{OLLAMA_ORIGINS}值为{*}

选择并下载DeepSeek版本

https://ollama.com/library/deepseek-r1
根据电脑性能选择不同的大小,对应不同的命令。

打开cmd输入命令

这里我选择使用1.5b,所以我的命令为

ollama run deepseek-r1:1.5b

然后等待pull就行了

安装成功后如下图所示

linux部署ollama

直接上命令行

curl -fsSL https://ollama.com/install.sh | sh sudo systemctl enable ollama sudo systemctl status ollama sudo systemctl start ollama ollama run deepseek-r1:1.5b

接口形式调用DeepSeek-(SpringBoot集成)

对接api文档

ollama已经开放了非常全的api接口了,对于全面私人化定制都是可以支持,详情参照官方文档,我这里只是弄了一个简单的示例。

ollama api文档

https://github.com/ollama/ollama/blob/main/docs/api.md

新建工具类方法
package com.example.springtestdemo.ai.util; import com.alibaba.fastjson.JSONObject; import lombok.extern.slf4j.Slf4j; /** * @date 2025-01-15 10:58:46 */ @Slf4j public class OllamaUtil { private static String DOMAIN = "http://localhost:11434/api/generate"; public static String chatDeepSeek(String model, String question) { String url = DOMAIN; JSONObject body = new JSONObject(); body.put("model", model); body.put("prompt", question); // 关闭流式返回,全部生成完再返回数据 body.put("stream", false); String result = CommonUtil.postJson(url, body.toJSONString()); log.info("【ollama-请求】 结果 {}", result); try { JSONObject resJson = JSONObject.parseObject(result); String response = resJson.getString("response"); log.info("【ollama-请求】 结果 {}", response); return response; } catch (Exception e) { log.error("【ollama-请求】异常", e); } return "ok"; } }
新建控制器
package com.example.springtestdemo.ai.controller; import com.example.springtestdemo.ai.QueryParam; import com.example.springtestdemo.ai.util.OllamaUtil; import org.springframework.web.bind.annotation.PostMapping; import org.springframework.web.bind.annotation.RestController; /** * @date 2025-02-07 14:44:56 */ @RestController public class AiController { @PostMapping("/deepSeek") public String deepSeek(QueryParam query) { String res = OllamaUtil.chatDeepSeek("deepseek-r1:1.5b", query.getQuestion()); return res; } }

安装 UI使用界面

1、 直接使用eage插件使用
https://www.crxsoso.com/webstore/detail/jfgfiigpkhlkbnfnbobbkinehhfdhndo
支持图片上传什么的都有

http://www.jsqmd.com/news/458291/

相关文章:

  • flask-django基于python的疫苗发布和接种管理系统的设计与实现
  • 以引擎源码抄写+UE独立游戏相结合
  • 简易星露谷模组二次开发之旅:捐赠追踪、颜色优化与动物状态警告
  • 【2025最新】基于SpringBoot+Vue的船舶维保管理系统管理系统源码+MyBatis+MySQL
  • ros1科学安装方法
  • 行星减速器装配图CAD图纸
  • 超详细:数据库的基本架构
  • 禁止使用存储过程
  • 【毕业设计】SpringBoot+Vue+MySQL 船运物流管理系统平台源码+数据库+论文+部署文档
  • ROS1中的package.xml文件的作用:
  • 5G-A 定位精度提升深度解析
  • flask-django基于python的线上博物馆门票预约以及活动报名系统的设计与实现
  • 基于Java+SSM+Flask基于BS模式的直播电商交流平台(源码+LW+调试文档+讲解等)/BS模式/直播电商/交流平台/在线直播/电商直播/实时互动/商务直播/网络直播/直播互动/直播销售
  • 嘘!我在公司电脑上玩游戏,连客户端都没装!
  • Kafka 被收购,国产替代势在必行
  • flask-django基于python的台球开台系统
  • 自动驾驶---E2E架构演进
  • 铣床夹具CAD图纸
  • 03-content-creator
  • OpenClaw 超级 AI 实战专栏【入门与环境】(一)OpenClaw 是什么?一文看懂核心能力与应用场景
  • 写论文省心了 10个一键生成论文工具深度测评:自考毕业论文+学术写作全攻略
  • AI正在重塑企业运营方式:为什么电商行业正在率先拥抱智能客服
  • WPS表格图表
  • 谷歌seo外链和内链区别?核心玩法与避坑指南
  • AI写论文就选这些!4款AI论文生成工具解决写职称论文痛点
  • 谷歌seo外链重要还是内容重要?底层逻辑与实操拆解
  • 基于Java+SSM+Flask课程辅助教学网站(源码+LW+调试文档+讲解等)/课程辅助工具/在线教学平台/课程学习网站/教学辅助软件/网络教学资源/课程资料下载/在线辅导服务/学习辅助网站
  • 企业级大学生选修选课系统管理系统源码|SpringBoot+Vue+MyBatis架构+MySQL数据库【完整版】
  • Simulink环境下基于MATLAB平台的智能电网微网运行控制与并网仿真研究:逆变器控制及下...
  • 黑客工具包武器化技术演进与防御范式重构研究