当前位置: 首页 > news >正文

ubuntu docker运行大模型

安装docker

安装依赖
sudo apt-get update
sudo apt-get install -y ca-certificates curl gnupg lsb-release

添加官方 Docker 源

sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg |
sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

echo
"deb [arch=$(dpkg --print-architecture)
signed-by=/etc/apt/keyrings/docker.gpg]
https://download.docker.com/linux/ubuntu
$(lsb_release -cs) stable" |
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

安装 Docker Engine

sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

启动测试

sudo systemctl enable docker
sudo systemctl start docker
sudo docker run hello-world

配置NVIDIA Container Toolkit

安装 NVIDIA Container Toolkit(让 Docker 支持 GPU)
浏览器打开地址后下载GPG密钥 https://nvidia.github.io/libnvidia-container/gpgkey

登陆github:https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.18.0
下载toolkit包
tar -xzvf nvidia-container-toolkit_1.18.0_deb_amd64.tar.gz
sudo dpkg -i ./*.deb

nvidia-ctk --version

配置 Docker
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

测试 GPU 容器运行

sudo docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi

docker info | grep -i runtime

应看到: Runtimes: nvidia runc

cat /etc/docker/daemon.json
{
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://mirror.baidubce.com",
"https://ccr.ccs.tencentyun.com",
"https://hub-mirror.c.163.com",
"https://registry.cn-hangzhou.aliyuncs.com"
],
"runtimes": {
"nvidia": {
"path": "nvidia-container-runtime",
"args": []
}
}
}

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

http://www.jsqmd.com/news/69413/

相关文章:

  • 【自荐】OneClip—— 一款简单专业的 macOS 剪贴板管理工具
  • igbt模块的栅极驱动芯片,栅极电阻计算
  • zfk_蓝桥杯C++学习_递归及时空复杂度
  • 托福一对一机构怎么选?高性价比推荐+避坑指南,2025备考党必看! - 品牌测评鉴赏家
  • 构建高准确率、可控、符合规范的政务数据库审计和监测方案
  • 疫苗的“设计图纸”如何变成现实?浅谈重组蛋白技术
  • 数据脱敏:在数据价值与隐私安全之间构建平衡
  • TK: 计算三角形的面积
  • SAT 辅导机构怎么选?2025 年高性价比机构测评指南(附避坑攻略) - 品牌测评鉴赏家
  • SAT 辅导机构怎么选?2025 年高性价比机构测评与避坑指南(附收费标准与选课攻略) - 品牌测评鉴赏家
  • 公式怎么写
  • 2025春季 PTA 中国大学MOOC上面的数据结构测试第三题 待修正中
  • 完整教程:C如何调用Go
  • vllm部署
  • 漏洞赏金猎人不会告诉你的秘密:从100多个已报告漏洞中总结的技巧
  • 2025.12.9
  • 《程序员修炼之道:从小工到专家》笔记7
  • 2025年铁路地铁电力电缆生产厂家推荐:中低压、低压、中压、变频、聚乙烯绝缘电缆厂家精选指南 - 品牌2026
  • 《程序员修炼之道:从小工到专家》笔记7
  • 2025年铁路地铁电力电缆生产厂家推荐:中低压、低压、中压、变频、聚乙烯绝缘电缆厂家精选指南 - 品牌2026
  • 2025年知名的电缆生产厂家推荐(12月名单):电缆生产厂家推荐 - 品牌2026
  • 个人电脑本地私有知识库:访答知识库的优势与应用解析
  • 个人电脑本地私有知识库:访答知识库的优势与应用解析
  • 深入解析:用 Paimon 做实时数据湖Flink CDC Pipeline 的 Paimon Sink 实战
  • 2025电缆品牌精选:中国电缆一线品牌推荐及十大知名品牌推荐 - 品牌2026
  • 2025年天津低烟无卤电缆生产厂家推荐:实力企业名单请收好 - 品牌2026
  • langchain4j 学习系列(7)-文本分类
  • 结构化建模分析测试 -
  • 编译树莓派AOSP
  • 实用指南:OCR与AI赋能医药资质审核的全流程自动化方案