当前位置：首页 > news >正文

手把手教你：在星图平台部署最强多模态Qwen3-VL:30B，并接入飞书实现智能对话

news 2026/6/4 12:31:30

手把手教你：在星图平台部署最强多模态Qwen3-VL:30B，并接入飞书实现智能对话

1. 项目概述与准备工作

1.1 为什么选择Qwen3-VL:30B

Qwen3-VL:30B是目前最强的开源多模态大模型之一，具备以下核心优势：

真正的多模态理解：不仅能识别图片中的物体，还能理解语义关系、分析文档结构、解读复杂图表
30B参数+MoE架构：在单张A40显卡（48GB显存）上实现3-5秒响应，平衡性能与速度
32K上下文窗口：可完整处理10页PPT截图或A4文档扫描件
私有化部署：所有数据处理在本地完成，确保企业敏感信息不外泄

1.2 硬件环境要求

组件	推荐配置	最低要求
GPU	NVIDIA A40(48GB)	NVIDIA A10G(24GB)
CPU	20核心	16核心
内存	240GB	128GB
系统盘	50GB	30GB

提示：星图平台已预装CUDA 12.4和所需驱动，无需手动配置

2. 基础镜像部署与测试

2.1 镜像选择与实例创建

登录CSDN星图AI平台
进入"镜像广场"，搜索Qwen3-vl:30b
选择"Qwen3-VL-30B多模态推理服务（官方预装）"镜像
按推荐配置创建实例（A40显卡+240GB内存）

2.2 服务连通性测试

实例启动后，进行两项基础测试：

2.2.1 Ollama Web控制台测试

在实例详情页点击"Ollama控制台"
输入测试问题并上传图片：
```
这张图片的主要内容是什么？
```
查看模型是否能准确描述图片内容

2.2.2 API调用测试

在本地终端执行以下Python代码（需安装openai库）：

from openai import OpenAI client = OpenAI( base_url="https://您的实例地址-11434.web.gpu.csdn.net/v1", api_key="ollama" ) response = client.chat.completions.create( model="qwen3-vl:30b", messages=[{"role": "user", "content": "用一句话介绍你自己"}] ) print(response.choices[0].message.content)

预期输出应包含"多模态大模型"等关键词，表明API服务正常。

3. Clawdbot安装与配置

3.1 安装Clawdbot

在实例终端执行以下命令：

npm i -g clawdbot clawdbot onboard

向导配置建议：

Network mode:local
Admin password: 直接回车跳过
Initial model provider:none
Enable telemetry:n

3.2 启动网关服务

clawdbot gateway

控制台地址将显示为：

https://您的实例地址-18789.web.gpu.csdn.net/

4. 网络与安全配置

4.1 修改监听配置

编辑Clawdbot配置文件：

vim ~/.clawdbot/clawdbot.json

修改关键参数：

"gateway": { "bind": "lan", "auth": { "token": "自定义安全Token" }, "trustedProxies": ["0.0.0.0/0"] }

4.2 重启服务并验证

clawdbot gateway --restart

刷新控制台页面，使用设置的Token登录，确认可以正常访问。

5. 集成Qwen3-VL:30B模型

5.1 配置模型供应

编辑~/.clawdbot/clawdbot.json，添加模型配置：

"models": { "providers": { "my-ollama": { "baseUrl": "http://127.0.0.1:11434/v1", "apiKey": "ollama", "models": [{ "id": "qwen3-vl:30b", "name": "Local Qwen3-VL-30B", "contextWindow": 32000 }] } } }, "agents": { "defaults": { "model": { "primary": "my-ollama/qwen3-vl:30b" } } }