Qwen3.5-9B从零开始部署：Conda环境配置+模型路径符号链接避坑指南
Qwen3.5-9B从零开始部署：Conda环境配置+模型路径符号链接避坑指南
1. 项目概述
Qwen3.5-9B是一款拥有90亿参数的开源大语言模型，具备强大的逻辑推理、代码生成和多轮对话能力。该模型支持多模态理解（图文输入）和长上下文处理（最高可达128K tokens），是当前开源模型中的佼佼者。
2. 环境准备
2.1 Conda环境配置
首先我们需要创建一个专用的Conda环境来运行Qwen3.5-9B模型：
# 创建名为torch28的Conda环境 conda create -n torch28 python=3.10 -y # 激活环境 conda activate torch28 # 安装基础依赖 pip install torch==2.8.0 transformers>=5.0.0 gradio==6.x huggingface_hub>=1.3.0常见问题：
- 如果遇到CUDA版本不兼容问题，可以尝试指定torch的CUDA版本：
pip install torch==2.8.0+cu121 --extra-index-url https://download.pytorch.org/whl/cu121 - 如果pip安装速度慢，可以添加国内镜像源：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple [包名]
2.2 模型下载与路径处理
Qwen3.5-9B模型文件较大（约19GB），下载后需要特别注意路径处理：
# 实际模型存储路径（建议） mkdir -p /root/ai-models/Qwen/Qwen3___5-9B # 创建符号链接（解决路径中特殊字符问题） ln -s /root/ai-models/Qwen/Qwen3___5-9B /root/ai-models/Qwen/Qwen3.5-9B避坑指南：
- 模型路径中避免使用特殊字符（如"."），建议用下划线替代
- 符号链接创建后，确保所有脚本都引用符号链接路径而非实际路径
- 检查权限：
ls -l /root/ai-models/Qwen/应显示正确的符号链接关系
3. 项目部署
3.1 项目结构搭建
创建项目目录并设置基本结构：
mkdir -p /root/qwen3.5-9b cd /root/qwen3.5-9b # 创建必要文件 touch app.py start.sh service.log history.json项目结构说明：
/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── service.log # 运行日志 └── history.json # 对话历史记录3.2 核心文件配置
app.py 基础内容：
from transformers import AutoModelForCausalLM, AutoTokenizer import gradio as gr import os # 模型路径（使用符号链接路径） model_path = "/root/ai-models/Qwen/Qwen3.5-9B" # 加载模型和tokenizer tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True).eval() # Gradio界面定义 with gr.Blocks() as demo: # 界面组件定义 ... if __name__ == "__main__": demo.launch(server_name="0.0.0.0", server_port=7860)start.sh 启动脚本：
#!/bin/bash source /opt/miniconda3/etc/profile.d/conda.sh conda activate torch28 python /root/qwen3.5-9b/app.py >> /root/qwen3.5-9b/service.log 2>&1设置执行权限：
chmod +x /root/qwen3.5-9b/start.sh4. Supervisor进程管理
4.1 Supervisor安装与配置
# 安装Supervisor apt-get install -y supervisor # 创建配置文件 cat > /etc/supervisor/conf.d/qwen3.5-9b.conf <<EOF [program:qwen3.5-9b] command=/bin/bash /root/qwen3.5-9b/start.sh directory=/root/qwen3.5-9b environment=HOME="/root",USER="root",LOGNAME="root",SHELL="/bin/bash",PATH="/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin" user=root autostart=true autorestart=true startsecs=30 startretries=3 redirect_stderr=true stdout_logfile=/root/qwen3.5-9b/service.log stopasgroup=true killasgroup=true EOF4.2 服务管理命令
# 重新加载Supervisor配置 supervisorctl reread supervisorctl update # 服务管理命令 supervisorctl status qwen3.5-9b # 查看状态 supervisorctl restart qwen3.5-9b # 重启服务 supervisorctl stop qwen3.5-9b # 停止服务5. 服务访问与功能测试
5.1 访问方式
- 本地访问：http://localhost:7860
- 网络访问：http://服务器IP:7860
5.2 功能测试
文本对话测试：
- 在输入框输入问题（如"请用Python写一个快速排序算法"）
- 点击"Send"或按回车
- 观察模型回复质量和响应时间
图片分析测试：
- 上传一张图片（JPEG/PNG格式）
- 提问关于图片内容的问题（如"这张图片里有什么？"）
- 验证模型对图片的理解准确性
6. 常见问题排查
6.1 模型加载失败
症状：
- 日志中出现"Failed to load model"或类似错误
- 服务启动后立即退出
排查步骤：
- 检查模型路径是否正确：
ls -l /root/ai-models/Qwen/ - 验证模型文件完整性：
du -sh /root/ai-models/Qwen/Qwen3___5-9B - 检查Conda环境是否激活正确：
conda activate torch28 python -c "import torch; print(torch.__version__)"
6.2 端口冲突
解决方案：
# 查找占用7860端口的进程 lsof -i :7860 # 如果确实需要更换端口，修改app.py中的server_port参数 demo.launch(server_name="0.0.0.0", server_port=7861) # 改为其他端口6.3 显存不足
对于GPU环境，如果遇到CUDA out of memory错误：
- 尝试减小max_tokens参数
- 使用更低精度的模型版本（如果有）
- 添加如下参数限制显存使用：
model = AutoModelForCausalLM.from_pretrained( model_path, device_map="auto", torch_dtype=torch.float16, trust_remote_code=True ).eval()
7. 日常维护建议
7.1 日志管理
# 日志轮转（防止日志文件过大） logrotate -f /etc/logrotate.d/qwen3.5-9b # 示例logrotate配置： cat > /etc/logrotate.d/qwen3.5-9b <<EOF /root/qwen3.5-9b/service.log { daily missingok rotate 7 compress delaycompress notifempty create 0640 root root } EOF7.2 模型更新
当有新版本模型发布时：
- 下载新模型到新目录（如Qwen3___5-9B-v2）
- 更新符号链接：
ln -sfn /root/ai-models/Qwen/Qwen3___5-9B-v2 /root/ai-models/Qwen/Qwen3.5-9B - 重启服务：
supervisorctl restart qwen3.5-9b
8. 总结
通过本文的详细指南，您应该已经成功部署了Qwen3.5-9B大语言模型。关键要点回顾：
- 环境配置：使用Conda创建独立环境，确保依赖版本正确
- 路径处理：通过符号链接解决特殊字符路径问题
- 进程管理：使用Supervisor确保服务稳定运行
- 问题排查：掌握常见问题的诊断和解决方法
对于更高级的使用，您可以：
- 开发自定义前端界面替代Gradio
- 集成到现有业务系统中
- 针对特定领域进行微调
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。