Qwen3-32B-Chat实战教程：基于FastAPI封装Qwen3 API并添加请求审计日志
Qwen3-32B-Chat实战教程：基于FastAPI封装Qwen3 API并添加请求审计日志
1. 教程概述
本教程将指导您如何基于FastAPI框架封装Qwen3-32B-Chat模型的API服务，并添加请求审计日志功能。通过本教程，您将学会：
- 如何快速部署Qwen3-32B-Chat私有镜像
- 使用FastAPI构建RESTful API服务
- 实现API请求的审计日志记录
- 优化大模型API服务的性能与稳定性
本教程特别针对RTX 4090D 24GB显存环境优化，采用CUDA 12.4和驱动550.90.07，确保最佳推理性能。
2. 环境准备与快速部署
2.1 硬件与镜像要求
确保您的环境满足以下要求：
- GPU：RTX 4090D 24GB显存（必须）
- 内存：≥120GB
- CPU：10核心以上
- 系统盘：50GB
- 数据盘：40GB
2.2 一键启动API服务
使用预置镜像中的启动脚本快速部署：
# 进入工作目录 cd /workspace # 启动API服务 bash start_api.sh服务启动后，您可以通过以下地址访问：
- API文档：http://localhost:8001/docs
- 默认端口：8001
3. FastAPI基础封装
3.1 创建FastAPI应用
首先创建一个基础的FastAPI应用来封装Qwen3模型：
from fastapi import FastAPI from pydantic import BaseModel from transformers import AutoModelForCausalLM, AutoTokenizer app = FastAPI() # 加载模型 model_path = "/workspace/models/Qwen3-32B" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype="auto", device_map="auto", trust_remote_code=True ) class ChatRequest(BaseModel): prompt: str max_length: int = 512 temperature: float = 0.7 @app.post("/chat") async def chat_completion(request: ChatRequest): inputs = tokenizer(request.prompt, return_tensors="pt").to("cuda") outputs = model.generate( **inputs, max_length=request.max_length, temperature=request.temperature ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return {"response": response}3.2 测试API接口
启动服务后，您可以使用curl测试API：
curl -X POST "http://localhost:8001/chat" \ -H "Content-Type: application/json" \ -d '{"prompt":"你好，介绍一下你自己","max_length":200}'4. 添加审计日志功能
4.1 实现日志中间件
为API添加请求审计日志功能：
import time from fastapi import Request import logging # 配置日志 logging.basicConfig( filename='api_audit.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s' ) @app.middleware("http") async def audit_log(request: Request, call_next): start_time = time.time() # 记录请求信息 client_ip = request.client.host method = request.method path = request.url.path response = await call_next(request) # 计算处理时间 process_time = time.time() - start_time # 记录审计日志 log_data = { "client_ip": client_ip, "method": method, "path": path, "status_code": response.status_code, "process_time": f"{process_time:.3f}s" } logging.info(f"API请求审计 - {log_data}") return response4.2 增强的日志记录
在聊天接口中添加详细的请求/响应日志：
@app.post("/chat") async def chat_completion(request: ChatRequest): # 记录请求 logging.info(f"请求内容: {request.prompt[:100]}... (长度:{len(request.prompt)})") inputs = tokenizer(request.prompt, return_tensors="pt").to("cuda") outputs = model.generate( **inputs, max_length=request.max_length, temperature=request.temperature ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) # 记录响应 logging.info(f"响应内容: {response[:100]}... (长度:{len(response)})") return {"response": response}5. 性能优化与生产部署
5.1 启用批处理支持
修改API以支持批处理请求：
from typing import List class BatchChatRequest(BaseModel): prompts: List[str] max_length: int = 512 temperature: float = 0.7 @app.post("/batch_chat") async def batch_chat_completion(request: BatchChatRequest): inputs = tokenizer(request.prompts, return_tensors="pt", padding=True).to("cuda") outputs = model.generate( **inputs, max_length=request.max_length, temperature=request.temperature ) responses = [tokenizer.decode(output, skip_special_tokens=True) for output in outputs] return {"responses": responses}5.2 添加速率限制
使用FastAPI的中间件添加API速率限制：
from fastapi.middleware import Middleware from fastapi.middleware.httpsredirect import HTTPSRedirectMiddleware from slowapi import Limiter from slowapi.util import get_remote_address limiter = Limiter(key_func=get_remote_address) app.state.limiter = limiter @app.post("/chat") @limiter.limit("10/minute") async def chat_completion(request: ChatRequest): # 原有实现...5.3 生产环境部署建议
对于生产环境，建议：
- 使用NGINX作为反向代理
- 配置SSL/TLS加密
- 启用Gunicorn或多进程部署
- 监控GPU显存使用情况
- 定期轮转审计日志
示例Gunicorn启动命令：
gunicorn -w 4 -k uvicorn.workers.UvicornWorker -b 0.0.0.0:8001 main:app6. 总结与进阶建议
通过本教程，您已经学会了：
- 如何快速部署Qwen3-32B-Chat私有镜像
- 使用FastAPI构建RESTful API服务
- 实现API请求的审计日志功能
- 进行性能优化和生产部署准备
进阶建议：
- 考虑添加用户认证和授权
- 实现API密钥管理
- 添加更详细的性能监控
- 考虑模型量化以降低显存占用
- 定期更新模型和依赖库
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。