当前位置：首页 > news >正文

GLM-4v-9b图文对话：支持截图+文字混合输入的协同推理

news 2026/7/23 14:00:44

GLM-4v-9b图文对话：支持截图+文字混合输入的协同推理

1. 模型介绍：能看懂图片的AI助手

GLM-4v-9b是智谱AI在2024年推出的开源多模态模型，拥有90亿参数，专门设计用来同时理解文字和图片。这个模型最大的特点是能够处理高达1120×1120分辨率的高清图片，在保持较小模型体积的同时，实现了相当不错的图文理解能力。

简单来说，GLM-4v-9b就像一个既会看又会说的AI助手。你给它一张图片，它不仅能描述图片内容，还能回答关于图片的问题，甚至能看懂图表、表格和截图中的文字信息。

在实际测试中，这个模型在图像描述、视觉问答、图表理解等多个任务上的表现，甚至超过了GPT-4-turbo、Gemini 1.0 Pro、Qwen-VL-Max和Claude 3 Opus这些知名的大模型。

2. 核心优势：为什么选择GLM-4v-9b

2.1 高清图片处理能力

GLM-4v-9b原生支持1120×1120的高分辨率输入，这意味着它能看清楚图片中的小字、表格细节和复杂图表。对于需要处理截图、文档图片或者详细图表的场景，这个能力特别实用。

2.2 中英双语优化

模型在中英文多轮对话上都经过了专门优化，特别是在中文场景下的OCR文字识别和图表理解方面表现突出。无论你是用中文还是英文提问，它都能给出准确的理解和回答。

2.3 部署门槛低

相比动辄需要多张高端显卡的大模型，GLM-4v-9b的部署要求相对亲民：

FP16精度下约18GB显存
INT4量化后仅需9GB显存
一张RTX 4090显卡就能全速运行

2.4 开源友好

模型采用Apache 2.0开源协议，权重使用OpenRAIL-M许可，年营收低于200万美元的初创公司可以免费商用，对个人开发者和小团队特别友好。

3. 实际应用场景

3.1 文档图片理解

你可以上传包含文字的图片截图，模型能够识别其中的文字内容并回答相关问题。比如上传一份报表截图，问它："第三行的数据是多少？"或者"这个表格说明了什么趋势？"

3.2 图表数据分析

遇到复杂的折线图、柱状图或者饼图，直接截图发给模型，它能够帮你分析数据趋势、提取关键信息，甚至给出简单的数据解读。

3.3 多轮对话推理

GLM-4v-9b支持多轮对话，你可以先上传一张图片，然后基于图片内容连续提问。比如先给一张产品图片，问："这是什么产品？"得到回答后继续问："它的主要特点是什么？"模型能够记住之前的对话上下文，给出连贯的回答。

3.4 代码截图解析

程序员们经常需要分享代码截图，现在你可以直接截图代码，让模型帮你解释代码功能、找出潜在问题，或者甚至把截图中的代码转换成可执行的文本格式。

4. 快速上手使用

4.1 环境准备

GLM-4v-9b已经集成到主流的推理框架中，包括transformers、vLLM和llama.cpp。你可以根据自己的硬件条件和需求选择合适的部署方式。

对于大多数用户，推荐使用vLLM进行部署，只需要几条命令就能启动服务：

# 安装vLLM pip install vllm # 启动服务 python -m vllm.entrypoints.openai.api_server \ --model THUDM/glm-4v-9b \ --dtype auto \ --gpu-memory-utilization 0.9

4.2 基本使用示例

启动服务后，你可以通过简单的API调用来使用模型的图文对话能力：

import requests import base64 from PIL import Image import io # 读取图片并编码 def encode_image(image_path): with open(image_path, "rb") as image_file: return base64.b64encode(image_file.read()).decode('utf-8') # 构建请求 image_path = "your_image.jpg" base64_image = encode_image(image_path) headers = { "Content-Type": "application/json" } payload = { "model": "glm-4v-9b", "messages": [ { "role": "user", "content": [ {"type": "text", "text": "请描述这张图片的内容"}, { "type": "image_url", "image_url": { "url": f"data:image/jpeg;base64,{base64_image}" } } ] } ], "max_tokens": 300 } response = requests.post( "http://localhost:8000/v1/chat/completions", headers=headers, json=payload ) print(response.json()['choices'][0]['message']['content'])