Xinference-v1.17.1保姆级部署教程：5分钟在Ubuntu上搭建你的AI模型推理平台
Xinference-v1.17.1保姆级部署教程：5分钟在Ubuntu上搭建你的AI模型推理平台
1. 引言：为什么选择Xinference？
如果你正在寻找一个简单、快速、功能强大的开源AI模型推理平台，Xinference-v1.17.1绝对值得你花5分钟了解一下。想象一下，你只需要一个命令，就能在本地或云端启动一个支持上百种开源大模型的服务，而且这个服务还提供了统一的API，让你可以像调用OpenAI一样调用任何模型——这就是Xinference带来的便利。
我最近在Ubuntu服务器上部署了Xinference，整个过程比预想的要顺利得多。从安装到启动第一个模型，真的只用了不到5分钟。这篇文章就是把我踩过的坑和总结的经验，用最直白的方式分享给你，让你也能快速拥有自己的AI推理平台。
无论你是想本地测试模型效果，还是需要为团队搭建一个统一的AI服务接口，这个教程都能帮你搞定。我们不讲复杂的概念，只讲具体怎么做。
2. 环境准备：确保你的系统就绪
在开始之前，我们先花1分钟检查一下你的Ubuntu系统。Xinference-v1.17.1对系统要求并不高，但做好准备工作能让后续步骤更顺利。
2.1 系统要求检查
首先确认你的Ubuntu版本。打开终端，输入：
lsb_release -a你会看到类似这样的输出：
Distributor ID: Ubuntu Description: Ubuntu 22.04.3 LTS Release: 22.04 Codename: jammyXinference支持Ubuntu 18.04及以上版本，但我推荐使用20.04或22.04 LTS，兼容性最好。
2.2 基础软件安装
接下来更新系统并安装必要的工具：
# 更新软件包列表 sudo apt update # 升级已安装的包 sudo apt upgrade -y # 安装Python和pip（如果还没安装） sudo apt install -y python3 python3-pip python3-venv # 安装一些常用工具 sudo apt install -y git curl wget如果你的系统里已经有Python 3.8或更高版本，那就可以直接进入下一步了。检查一下Python版本：
python3 --version2.3 GPU支持（可选但推荐）
如果你有NVIDIA显卡，并且希望用GPU来加速模型推理，那么需要安装显卡驱动。先检查一下：
# 检查是否已安装NVIDIA驱动 nvidia-smi如果这个命令显示了显卡信息，比如显存大小、驱动版本等，那说明驱动已经装好了。如果报错或者没输出，可以这样安装：
# 自动安装合适的驱动 sudo ubuntu-drivers autoinstall # 重启系统 sudo reboot重启后再次运行nvidia-smi确认安装成功。看到显卡信息就说明没问题了。
3. 核心步骤：安装和启动Xinference
好了，准备工作完成，现在进入正题。安装Xinference其实特别简单，就几个命令。
3.1 创建Python虚拟环境
我强烈建议使用虚拟环境，这样不会影响系统里其他的Python项目：
# 创建一个名为xinference-env的虚拟环境 python3 -m venv xinference-env # 激活虚拟环境 source xinference-env/bin/activate激活后，你的命令行提示符前面会出现(xinference-env)，表示你现在在这个虚拟环境里操作。
3.2 安装Xinference
在虚拟环境里，用pip安装Xinference：
pip install xinference如果你在中国大陆，可能会觉得下载速度慢，可以换成国内的镜像源：
pip install xinference -i https://pypi.tuna.tsinghua.edu.cn/simple安装过程大概需要1-2分钟，取决于你的网络速度。
3.3 验证安装
安装完成后，验证一下是否成功：
xinference --version如果看到类似xinference, version 1.17.1的输出，恭喜你，安装成功了！
4. 启动服务：让你的AI平台跑起来
安装好了，现在启动服务。Xinference提供了多种启动方式，我们先从最简单的开始。
4.1 快速启动本地服务
在终端里输入这个命令：
xinference-local --host 0.0.0.0 --port 9997解释一下参数：
--host 0.0.0.0：让服务监听所有网络接口，这样你不仅能在本机访问，也能从同一网络的其他设备访问--port 9997：指定服务端口为9997，你可以改成其他没被占用的端口
启动后你会看到类似这样的输出：
INFO: Started server process [12345] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:9997 (Press CTRL+C to quit)4.2 访问Web管理界面
打开你的浏览器，输入：
- 如果在本机访问：
http://localhost:9997 - 如果在其他设备访问：
http://你的服务器IP:9997
你会看到一个简洁的Web界面，这就是Xinference的管理后台。在这里你可以查看已部署的模型、启动新模型、监控资源使用情况等。
4.3 让服务在后台运行
刚才的启动方式有个问题：关掉终端，服务就停了。我们需要让它在后台持续运行。
方法一：使用nohup（简单）
nohup xinference-local --host 0.0.0.0 --port 9997 > xinference.log 2>&1 &这个命令会让服务在后台运行，并且把日志输出到xinference.log文件。你可以随时查看日志：
# 查看实时日志 tail -f xinference.log # 查看最后100行日志 tail -n 100 xinference.log方法二：使用systemd（推荐用于生产环境）
创建服务配置文件：
sudo nano /etc/systemd/system/xinference.service把下面的内容复制进去（记得把你的用户名换成你实际的用户名）：
[Unit] Description=Xinference AI Inference Service After=network.target [Service] Type=simple User=你的用户名 WorkingDirectory=/home/你的用户名 Environment=PATH=/home/你的用户名/xinference-env/bin ExecStart=/home/你的用户名/xinference-env/bin/xinference-local --host 0.0.0.0 --port 9997 Restart=always RestartSec=10 [Install] WantedBy=multi-user.target保存退出后，启用并启动服务：
# 重新加载systemd配置 sudo systemctl daemon-reload # 设置开机自启 sudo systemctl enable xinference # 立即启动服务 sudo systemctl start xinference # 查看服务状态 sudo systemctl status xinference如果看到active (running)，说明服务已经成功在后台运行了。
5. 部署第一个模型：从零到一的实践
服务跑起来了，现在我们来部署一个真正的AI模型。Xinference支持很多模型，我们先从一个小一点的开始。
5.1 查看可用模型
在终端里（确保还在虚拟环境中）输入：
# 查看所有可用的语言模型 xinference registrations --model-type LLM你会看到一个很长的列表，包含了各种开源大模型，比如Qwen、Llama、ChatGLM等。每个模型后面都标明了需要多少显存或内存。
5.2 部署Qwen2-7B模型
对于初次尝试，我推荐Qwen2-7B-Instruct这个模型。它大小适中（7B参数），效果不错，而且对中文支持很好。
xinference launch --model-name Qwen2-7B-Instruct --model-type LLM第一次运行这个命令时，Xinference会自动从网上下载模型文件。下载速度取决于你的网络，模型大小约14GB，可能需要一些时间。
下载完成后，模型会自动加载。你会看到类似这样的进度信息：
Downloading model... 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████