千问3.5-27B基础教程：FastAPI路由设计/generate与/chat_stream区别

千问3.5-27B基础教程：FastAPI路由设计/generate与/chat_stream区别

1. 快速了解Qwen3.5-27B模型

Qwen3.5-27B是阿里巴巴开源的多模态大语言模型，支持文本对话与图片理解能力。这个模型特别适合需要同时处理文字和图像的应用场景，比如智能客服、内容创作辅助等。

模型部署在4张RTX 4090 D 24GB显卡上，提供了三种主要接口：

• 中文Web对话界面（适合普通用户）
• 流式文本对话API（适合开发者集成）
• 图片理解API（支持图像内容分析）

2. FastAPI路由设计概览

2.1 核心API接口

Qwen3.5-27B的FastAPI服务提供了三个主要路由端点：

1. /generate- 标准文本生成接口
2. /chat_stream- 流式对话接口
3. /generate_with_image- 带图片理解的生成接口

2.2 接口对比表

3. /generate接口详解

3.1 基本使用方法

/generate是最基础的文本生成接口，它会一次性返回完整的生成结果。这个接口适合不需要实时显示生成过程的场景。

import requests url = "http://127.0.0.1:7860/generate" headers = {"Content-Type": "application/json"} data = { "prompt": "请用中文介绍一下你自己", "max_new_tokens": 128 } response = requests.post(url, headers=headers, json=data) print(response.json())

3.2 参数说明

• prompt: 输入的提示文本（必填）
• max_new_tokens: 最大生成token数（默认128）
• temperature: 控制生成随机性的参数（可选）
• top_p: 核采样参数（可选）

4. /chat_stream接口详解

4.1 流式接口特点

/chat_stream接口与/generate的主要区别在于返回方式。它会以流式(streaming)方式逐步返回生成结果，适合需要实时显示生成过程的场景。

import requests url = "http://127.0.0.1:7860/chat_stream" headers = {"Content-Type": "application/json"} data = { "prompt": "请用中文介绍一下你自己", "max_new_tokens": 128 } with requests.post(url, headers=headers, json=data, stream=True) as response: for chunk in response.iter_content(chunk_size=None): if chunk: print(chunk.decode('utf-8'), end='', flush=True)

4.2 流式接口优势

1. 用户体验更好：用户可以实时看到生成过程
2. 响应更快：不需要等待全部生成完成
3. 节省带宽：可以提前终止不需要的生成

5. 接口选择建议

5.1 何时使用/generate

• 需要完整结果后再处理
• 生成内容较短（<100 tokens）
• 不需要实时显示给用户
• 后端处理场景

5.2 何时使用/chat_stream

• 需要实时显示生成过程
• 生成内容较长（>100 tokens）
• 前端交互场景
• 需要提供"停止生成"功能

6. 实际应用示例

6.1 构建简单聊天机器人

from fastapi import FastAPI import requests app = FastAPI() @app.post("/chat") async def chat(prompt: str): url = "http://127.0.0.1:7860/chat_stream" headers = {"Content-Type": "application/json"} data = {"prompt": prompt, "max_new_tokens": 256} def generate(): with requests.post(url, headers=headers, json=data, stream=True) as response: for chunk in response.iter_content(chunk_size=None): if chunk: yield chunk.decode('utf-8') return StreamingResponse(generate(), media_type="text/plain")

6.2 批量处理文本

def batch_process(prompts): results = [] for prompt in prompts: response = requests.post( "http://127.0.0.1:7860/generate", json={"prompt": prompt, "max_new_tokens": 128} ) results.append(response.json()["response"]) return results

7. 总结

Qwen3.5-27B提供的/generate和/chat_stream接口各有优势：

1. /generate适合：

   • 需要完整结果的场景
   • 后端处理任务
   • 短文本生成

2. /chat_stream适合：

   • 需要实时交互的场景
   • 前端展示
   • 长文本生成

在实际应用中，可以根据具体需求选择合适的接口。对于大多数聊天应用，推荐使用/chat_stream以获得更好的用户体验；而对于后台处理任务，/generate可能是更高效的选择。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。