Qwen3.5-9B部署教程：CentOS 7兼容方案（glibc升级+systemd服务模板）

Qwen3.5-9B部署教程：CentOS 7兼容方案（glibc升级+systemd服务模板）

1. 项目概述

Qwen3.5-9B是一款拥有90亿参数的开源大语言模型，具备强大的逻辑推理、代码生成和多轮对话能力。该模型支持多模态理解（图文输入）和长上下文处理（最高128K tokens），是当前开源模型中的佼佼者。

核心特点：

• 支持中英文混合对话
• 可分析上传图片内容
• 提供丰富的生成参数调节选项
• 通过Gradio提供直观的Web界面

2. 环境准备

2.1 系统要求

最低配置：

• 操作系统：CentOS 7.x
• CPU：8核以上
• 内存：32GB以上
• GPU：NVIDIA显卡（显存16GB以上）
• 存储：50GB可用空间

2.2 依赖安装

# 安装基础工具 yum install -y git wget bzip2 # 安装Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3 source /opt/miniconda3/bin/activate

2.3 创建Conda环境

conda create -n torch28 python=3.10 -y conda activate torch28 pip install torch==2.8.0 transformers>=5.0.0 gradio==6.x huggingface_hub>=1.3.0

3. 项目部署

3.1 项目结构

/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── service.log # 运行日志 └── history.json # 对话历史记录

3.2 模型下载

mkdir -p /root/ai-models/Qwen cd /root/ai-models/Qwen git lfs install git clone https://huggingface.co/Qwen/Qwen3.5-9B ln -s Qwen3___5-9B Qwen3.5-9B

4. 服务配置

4.1 Supervisor安装与配置

# 安装Supervisor yum install -y supervisor systemctl enable supervisord systemctl start supervisord # 创建配置文件 cat > /etc/supervisor/conf.d/qwen3.5-9b.conf <<EOF [program:qwen3.5-9b] command=/bin/bash /root/qwen3.5-9b/start.sh directory=/root/qwen3.5-9b environment=HOME="/root",USER="root",LOGNAME="root",SHELL="/bin/bash",PATH="/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin" user=root autostart=true autorestart=true startsecs=30 startretries=3 redirect_stderr=true stdout_logfile=/root/qwen3.5-9b/service.log stopasgroup=true killasgroup=true EOF # 重新加载配置 supervisorctl update

4.2 启动脚本

创建/root/qwen3.5-9b/start.sh：

#!/bin/bash source /opt/miniconda3/bin/activate torch28 cd /root/qwen3.5-9b python app.py

赋予执行权限：

chmod +x /root/qwen3.5-9b/start.sh

5. 服务管理

5.1 常用命令

# 查看服务状态 supervisorctl status qwen3.5-9b # 重启服务 supervisorctl restart qwen3.5-9b # 停止服务 supervisorctl stop qwen3.5-9b # 查看实时日志 tail -f /root/qwen3.5-9b/service.log

5.2 访问服务

• 本地访问: http://localhost:7860
• 网络访问: http://服务器IP:7860

6. 功能使用指南

6.1 文本对话

1. 在输入框输入问题
2. 点击"Send"或按回车
3. 等待模型回复

6.2 图片分析

1. 在右侧"Upload Image"上传图片
2. 在输入框描述你想问的问题（如"这张图片里有什么？"）
3. 点击"Send"

6.3 参数调节

7. 常见问题排查

7.1 服务启动失败

检查步骤：

1. 检查进程状态：supervisorctl status qwen3.5-9b
2. 查看最新日志：supervisorctl tail qwen3.5-9b
3. 检查conda环境：conda activate torch28
4. 检查模型文件：ls -lh /root/ai-models/Qwen/Qwen3.5-9B

7.2 模型加载慢

解决方案：

• 首次加载需要2-3分钟
• 检查GPU状态：nvidia-smi
• 查看加载进度：grep "Loading weights" /root/qwen3.5-9b/service.log

7.3 端口冲突

# 检查端口占用 ss -tlnp | grep 7860 # 查看占用进程 lsof -i :7860

8. 系统维护

8.1 清理对话历史

rm -f /root/qwen3.5-9b/history.json supervisorctl restart qwen3.5-9b

8.2 日志管理

# 备份日志 cp /root/qwen3.5-9b/service.log /root/qwen3.5-9b/service.log.bak # 清空日志 > /root/qwen3.5-9b/service.log

8.3 代码更新

vim /root/qwen3.5-9b/app.py supervisorctl restart qwen3.5-9b

9. 总结

本教程详细介绍了在CentOS 7系统上部署Qwen3.5-9B大语言模型的完整流程，包括环境准备、模型下载、服务配置和日常维护。通过Supervisor实现进程管理，确保服务稳定运行。

关键要点回顾：

1. 使用Conda创建隔离的Python环境
2. 通过Supervisor管理服务进程
3. 提供Web界面方便交互
4. 支持多模态输入和参数调节

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。