Qwen3.5-35B-AWQ-4bit开源镜像部署教程：vLLM+compressed-tensors稳定方案
Qwen3.5-35B-AWQ-4bit开源镜像部署教程：vLLM+compressed-tensors稳定方案
1. 模型介绍
Qwen3.5-35B-A3B-AWQ-4bit是一个面向视觉多模态理解的量化模型，支持图片理解、图文问答、视觉描述等能力。这个模型特别适合需要分析图片内容、进行图文对话的应用场景。
1.1 核心能力
| 能力 | 说明 | 典型应用场景 |
|---|---|---|
| 图片理解 | 分析上传图片的内容 | 商品识别、场景分析 |
| 图文问答 | 围绕图片进行多轮提问 | 智能客服、教育辅导 |
| 视觉描述 | 生成图片的文字描述 | 内容创作、无障碍服务 |
| 中文输出 | 支持中文问答交互 | 本地化应用开发 |
1.2 技术特点
- 高效量化：采用AWQ-4bit量化技术，大幅降低显存需求
- 多模态支持：同时处理图像和文本输入
- 稳定部署：基于vLLM+compressed-tensors方案
- 开箱即用：提供完整的Web交互界面
2. 环境准备
2.1 硬件要求
- GPU配置：至少2张24GB显存的GPU卡（如NVIDIA RTX 3090）
- 内存：建议64GB以上系统内存
- 存储：需要50GB以上可用空间
2.2 软件依赖
# 基础环境检查 nvidia-smi # 确认GPU驱动正常 docker --version # 确认Docker已安装 nvidia-docker --version # 确认NVIDIA Docker支持3. 部署步骤
3.1 获取镜像
# 拉取预构建镜像 docker pull csdn-mirror/qwen35-awq:latest3.2 启动容器
# 启动容器（注意替换your_api_key） docker run -itd --gpus all \ -p 7860:7860 \ -e API_KEY=your_api_key \ --name qwen35-awq \ csdn-mirror/qwen35-awq:latest3.3 服务验证
# 检查服务状态 docker exec -it qwen35-awq supervisorctl status # 预期输出示例 qwen35awq-backend RUNNING qwen35awq-web RUNNING4. 使用指南
4.1 访问Web界面
- 如果已配置公网访问，直接打开分配的URL
- 本地测试可通过SSH隧道访问：
ssh -L 7860:127.0.0.1:7860 your_username@your_server_ip然后在浏览器访问：http://127.0.0.1:7860
4.2 基本操作流程
- 上传图片：点击上传按钮选择图片文件
- 输入问题：在对话框输入关于图片的问题
- 获取回答：模型会生成针对图片的回复
4.3 使用示例
测试图片：上传一张包含多个水果的图片
提问示例：
- "图片中有哪些水果？"
- "香蕉在图片的什么位置？"
- "这些水果可以做什么甜点？"
5. 高级配置
5.1 性能调优参数
| 参数 | 说明 | 推荐值 |
|---|---|---|
| tensor-parallel-size | 张量并行数 | 2 |
| max-model-len | 最大上下文长度 | 4096 |
| enforce-eager | 禁用cudagraph | true |
| dtype | 推理精度 | float16 |
5.2 服务管理命令
# 重启后端服务 docker exec -it qwen35-awq supervisorctl restart qwen35awq-backend # 查看日志 docker exec -it qwen35-awq tail -f /root/workspace/qwen35awq-backend.log6. 常见问题解决
6.1 服务启动失败
症状：Web页面无法打开
排查步骤：
- 检查容器是否运行：
docker ps - 检查端口是否监听：
docker exec -it qwen35-awq ss -ltnp - 查看服务日志：
docker exec -it qwen35-awq supervisorctl tail qwen35awq-backend
6.2 响应速度慢
优化建议：
- 减小图片尺寸（建议长边不超过1024px）
- 使用更简单明确的问题
- 确保GPU利用率正常（检查
nvidia-smi）
6.3 显存不足
解决方案：
- 确认使用双GPU卡
- 检查
tensor-parallel-size设置为2 - 尝试减小
max-model-len参数
7. 最佳实践
图片预处理：
- 确保图片清晰度高
- 主体对象突出
- 复杂场景可先裁剪重点区域
提问技巧：
- 从整体描述开始（"这张图片展示了什么？"）
- 逐步深入细节（"左侧穿红衣服的人在做什么？"）
- 避免一次问多个问题
性能优化：
- 保持会话围绕同一张图片
- 长时间不用后首次查询会有预热时间
- 批量处理时可考虑API调用方式
8. 技术方案解析
8.1 vLLM+compressed-tensors优势
- 内存效率：量化模型显存占用降低60%
- 推理速度：保持原始模型80%以上的推理速度
- 稳定性：避免原生Transformers的OOM问题
8.2 量化技术细节
- AWQ算法：激活感知的权重量化
- 4bit精度：每组权重使用4bit表示
- 分组量化：按通道分组保持精度
9. 总结
Qwen3.5-35B-AWQ-4bit模型通过量化技术和稳定的vLLM+compressed-tensors部署方案，使得大模型多模态应用变得更加可行。本教程详细介绍了从环境准备到实际使用的完整流程，帮助开发者快速搭建自己的图文对话系统。
关键要点回顾：
- 必须使用双GPU卡部署
- Web界面开箱即用，适合快速验证
- 提问方式影响回答质量，需要适当引导
- 服务管理命令方便运维监控
对于希望进一步探索的开发者，可以尝试：
- 集成到现有应用系统
- 开发自定义前端界面
- 针对垂直领域进行微调
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。