Qwen3.5-35B-A3B-AWQ-4bit镜像免配置教程：内置模型目录+服务自动恢复
Qwen3.5-35B-A3B-AWQ-4bit镜像免配置教程：内置模型目录+服务自动恢复
1. 模型介绍
Qwen3.5-35B-A3B-AWQ-4bit是一个专为视觉多模态理解设计的量化模型，特别适合需要图片分析和图文对话的应用场景。这个镜像已经内置了完整的模型目录，部署后即可直接使用，无需额外配置。
1.1 核心能力
| 能力类型 | 具体功能 |
|---|---|
| 图片理解 | 准确识别图片中的物体、场景和文字 |
| 图文问答 | 针对图片内容进行多轮提问和回答 |
| 视觉描述 | 生成图片的详细文字描述 |
| 中文支持 | 完整的中文理解和输出能力 |
1.2 技术特点
- 开箱即用：内置完整模型目录，部署后直接可用
- 稳定运行：采用vLLM+compressed-tensors技术路线
- 服务恢复：意外重启后自动恢复服务状态
- 双卡优化：针对24GB GPU进行特别优化
2. 快速部署指南
2.1 访问方式
根据你的网络环境，可以选择以下两种访问方式：
方式一：直接访问如果平台已经配置了外网映射，可以直接访问平台提供的7860端口地址。
方式二：SSH隧道访问如果没有外网映射，建议通过SSH隧道访问：
ssh -L 7860:127.0.0.1:7860 -p 32468 root@gpu-kktv84d3pq.ssh.gpu.csdn.net然后在本地浏览器打开：
http://127.0.0.1:78602.2 首次使用检查
部署完成后，建议进行以下检查：
- 检查服务状态：
supervisorctl status qwen35awq-backend supervisorctl status qwen35awq-web- 验证端口监听：
ss -ltnp | egrep '7860|8000'- 查看日志确认无报错：
tail -100 /root/workspace/qwen35awq-backend.log3. 图文对话使用教程
3.1 基础操作流程
- 上传图片：点击页面上的上传按钮，选择要分析的图片
- 输入问题：在对话框输入你想问的问题
- 获取回答：点击"发送"按钮，等待模型返回答案
- 继续提问：可以基于同一张图片进行多轮提问
3.2 使用技巧
- 图片选择：优先使用清晰、主体明确的图片
- 提问策略：
- 先问整体描述："这张图片里有什么？"
- 再问具体细节："左边那个人在做什么？"
- 最后问推理问题："这张图片可能是在什么场合拍摄的？"
- 上下文管理：更换图片后建议重新开始对话
4. 参数配置说明
4.1 关键参数设置
| 参数项 | 说明 | 推荐值 |
|---|---|---|
| 推理精度 | 模型计算精度 | float16 |
| 并行卡数 | GPU使用数量 | 2 |
| 上下文长度 | 对话记忆长度 | 4096 |
| 推理模式 | 计算图执行方式 | eager模式 |
4.2 服务管理命令
重启服务：
supervisorctl restart qwen35awq-backend supervisorctl restart qwen35awq-web日志查看：
# 后端日志 tail -f /root/workspace/qwen35awq-backend.log # 前端日志 tail -f /root/workspace/qwen35awq-web.log5. 常见问题解决
5.1 服务启动问题
问题现象：后端服务无法启动
解决方法：
- 检查日志中的错误信息
- 确认tensor-parallel-size参数设置为2
- 检查GPU内存是否充足
问题现象：页面无法打开
解决方法：
- 检查7860端口是否监听
- 确认前端服务状态
- 检查网络连接是否正常
5.2 使用中的问题
问题现象：回答速度慢
可能原因：
- 首次请求包含预热过程
- 图片分辨率过高
- 问题复杂度较高
问题现象：回答不准确
优化建议：
- 提供更清晰的图片
- 尝试拆分复杂问题
- 检查图片内容是否明确
6. 最佳实践建议
图片准备：
- 使用JPEG或PNG格式
- 分辨率建议在1024x1024以内
- 确保主体清晰可见
提问技巧：
- 从简单到复杂逐步提问
- 对同一图片进行多轮深入提问
- 避免一次问多个问题
性能优化：
- 保持服务版本更新
- 定期检查日志
- 合理管理对话历史
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。