当前位置: 首页 > news >正文

linux下手工安装ollama0.9.6

1、去下载ollama的linux版的压缩包:
地址:https://github.com/ollama/ollama/releases

2、上传到linux中。

3、解压:

tarzxvf ollama-linux-amd64-0.9.6.tgz-C/usr/local/
最新的从0.14开始,使用了新格式,改为:tar-Izstd-xvfollama-linux-amd64.0.20.2.tar.zst-C/usr/local

用起来可以的模型:

ollama run fredrezones55/Qwopus3.5:27b#opus的蒸馏版shmily_006/Qw3:latest#qwen3 4b不思考版本

4、如果仅仅是要手工执行,已经可以了:
ollama serve
5、添加存储目录:
mkdir -p /app/ollama/data
修改权限
chmod 777 -R /app/ollama/data
6、添加用户

sudouseradd-r-s/bin/false-U-m-d/usr/share/ollama ollamasudousermod-a-Gollama$(whoami)

7、创建服务文件 /etc/systemd/system/ollama.service:

[Unit]Description=Ollama ServiceAfter=network-online.target[Service]ExecStart=/usr/local/bin/ollama serveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="PATH=/root/anaconda3/bin:/root/anaconda3/condabin:/usr/local/cuda/bin:/root/anaconda3/bin:/usr/local/cuda/bin:/usr/share/Modules/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bi$ Environment="OLLAMA_MODELS=/app/ollama/data" Environment="OLLAMA_HOST=0.0.0.0"[Install]WantedBy=default.target

8、启动服务

systemctl start ollama

9、可以看下状态:

systemctl status ollama


10、api接口

openapi兼容接口 http://localhost:11434/v1/ http://localhost:11434/v1/models 查看所有的模型 http://localhost:11434/v1/chat/completions 会话接口 http://localhost:11434/v1/responses 响应接口 http://localhost:11434/v1/embeddings 嵌入模型 http://localhost:11434/v1/images/generations 图片生成接口 下面是ollama的web api http://localhost:11434/api/generate http://localhost:11434/api/chat http://localhost:11434/api/embed http://localhost:11434/api/tags
http://www.jsqmd.com/news/729619/

相关文章:

  • 开源免费的WPS AI 软件 察元AI文档助手:链路 020:runPlainDocumentAssistantExecution 单次 chatCompletion
  • ARM原子操作指令解析:LDSETP与LDSMAX实战指南
  • 保姆级教程:在Ubuntu 20.04上从零部署PointPillars ROS节点(含CUDA 11.7/Spconv 2.x避坑指南)
  • 别再为覆盖率头疼了!聊聊Test Point如何帮你搞定ATPG Pattern数量
  • 终极Fabric物品与方块API开发指南:从零开始创建自定义游戏元素的完整流程
  • 如何选择最佳Mac应用清理工具:Pearcleaner 2025年完整使用指南
  • Fuel Core 终极商业模式解析:区块链基础设施的可持续盈利探索
  • Ollamac本地AI对话伴侣:隐私优先的图形化大模型客户端部署与实战
  • React-Cropper深度解析:从基础配置到高级用法
  • 语言模型序列推理:从理论到实践的范式转变
  • 中兴STB调试工具|永久版|免沙箱直运行|可复制文件
  • 你所不知道的关于AI的27个冷知识——AI与环境保护
  • 别再搜XML了!IDEA 2024.1新版本里,Spring Boot启动报‘命令行太长’的3秒修复法
  • 大模型赋能邻域搜索:G-LNS优化算法解析
  • 超导量子处理器ECR门误差分析与抑制技术
  • 你所不知道的关于AI的27个冷知识——AI的计算能力与能源消耗
  • Gopeed微前端架构解析:10个模块化开发与按需加载的终极技巧
  • 告别老InputSystem!UE5.3增强输入系统实战:从蓝图到C++完整配置流程
  • 如何用ChatTTS Top-K采样提升语音生成质量:简单实用的优化指南
  • Vibe Space技术:实现概念级图像混合的突破
  • 语义学是否存在普遍真理?从理论分野到NLP的破局可能
  • Agent 一接浏览器弹窗就开始误点确认:从 Dialog Intent Binding 到 Destructive Action Guard 的工程实战
  • #TencentOS AI 体验官# TencentOS已经提前进入自然语言运维时代
  • 构建企业级AI记忆系统:Embedchain网络安全防护终极指南
  • 软考中级软件设计师做题笔记
  • 终极yq架构解析:轻松掌握多格式数据处理核心原理
  • nostr-tools使用教程
  • Lily58机械键盘成本分析:DIY vs 成品的经济效益对比
  • 搞Web自动化测试/爬虫必看:如何为Selenium固定Chrome驱动版本(附历史版本下载与匹配方法)
  • 终极Dapr认证指南:从零基础到架构专家的完整技能路径