DAMO-YOLO TinyNAS模型服务化实战：FastAPI部署

DAMO-YOLO TinyNAS模型服务化实战：FastAPI部署

目标检测模型部署不再复杂，用FastAPI让DAMO-YOLO TinyNAS秒变高性能Web服务

1. 引言

当你训练好一个目标检测模型后，接下来最头疼的问题可能就是：怎么让其他人也能方便地使用这个模型？总不能每个人都配环境、装依赖、跑代码吧？

DAMO-YOLO TinyNAS作为阿里巴巴达摩院推出的高性能目标检测框架，在精度和速度方面都有出色表现。但模型再好，如果不能方便地提供服务，价值就会大打折扣。

今天我就来分享一个实战方案：用FastAPI将DAMO-YOLO TinyNAS模型封装成RESTful API服务。无论你是想给同事提供检测服务，还是需要集成到现有系统中，这个方法都能帮你快速搭建一个高性能的模型服务。

2. 环境准备与依赖安装

在开始之前，我们先确保环境准备就绪。这里我推荐使用conda创建独立的Python环境，避免依赖冲突。

# 创建并激活conda环境 conda create -n damo-yolo-api python=3.9 -y conda activate damo-yolo-api # 安装核心依赖 pip install fastapi uvicorn python-multipart pillow pip install torch torchvision pip install onnxruntime # 如果你使用ONNX格式的模型

对于DAMO-YOLO相关的依赖，你需要从官方仓库安装：

git clone https://github.com/tinyvision/DAMO-YOLO.git cd DAMO-YOLO pip install -r requirements.txt export PYTHONPATH=$PWD:$PYTHONPATH

3. 项目结构设计

一个好的项目结构能让后续开发和维护轻松很多。我建议采用这样的目录结构：

damo-yolo-api/ ├── app/ │ ├── main.py # FastAPI主应用 │ ├── models.py # 模型加载和推理逻辑 │ ├── schemas.py # Pydantic数据模型 │ └── utils.py # 工具函数 ├── weights/ │ └── damoyolo_tinynasL25_S.pth # 模型权重文件 ├── static/ # 静态文件目录 ├── requirements.txt # 依赖列表 └── README.md # 项目说明

4. 核心代码实现

4.1 模型加载模块

首先创建模型加载模块，确保模型只加载一次，提高服务性能：

# app/models.py import torch import numpy as np from PIL import Image import torchvision.transforms as transforms class DAMOYOLOPredictor: def __init__(self, model_path, config_path): self.model_path = model_path self.config_path = config_path self.model = None self.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') self.load_model() def load_model(self): """加载DAMO-YOLO模型""" try: from tools.demo import Predictor self.predictor = Predictor( self.config_path, self.model_path, device=self.device ) print("模型加载成功！") except Exception as e: print(f"模型加载失败: {str(e)}") raise def preprocess_image(self, image): """图像预处理""" transform = transforms.Compose([ transforms.Resize((640, 640)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) return transform(image).unsqueeze(0) def predict(self, image): """执行预测""" if self.predictor is None: raise ValueError("模型未初始化") # 转换图像格式 if isinstance(image, np.ndarray): image = Image.fromarray(image) # 执行预测 results = self.predictor.inference(image) return results

4.2 FastAPI应用主程序

接下来创建FastAPI主应用：

# app/main.py from fastapi import FastAPI, File, UploadFile, HTTPException from fastapi.responses import JSONResponse from fastapi.staticfiles import StaticFiles from PIL import Image import numpy as np import io import os from app.models import DAMOYOLOPredictor from app.schemas import DetectionResponse app = FastAPI( title="DAMO-YOLO TinyNAS API", description="基于FastAPI的DAMO-YOLO目标检测服务", version="1.0.0" ) # 初始化模型 model_predictor = None @app.on_event("startup") async def startup_event(): """应用启动时加载模型""" global model_predictor try: model_path = "weights/damoyolo_tinynasL25_S.pth" config_path = "configs/damoyolo_tinynasL25_S.py" model_predictor = DAMOYOLOPredictor(model_path, config_path) print("API服务启动完成，模型已加载") except Exception as e: print(f"启动失败: {str(e)}") raise @app.post("/predict", response_model=DetectionResponse) async def predict(image: UploadFile = File(...)): """目标检测接口""" try: # 读取上传的图像 contents = await image.read() pil_image = Image.open(io.BytesIO(contents)).convert("RGB") # 执行预测 results = model_predictor.predict(pil_image) # 格式化返回结果 formatted_results = [] for result in results: formatted_results.append({ "bbox": result[:4].tolist(), "confidence": float(result[4]), "class_id": int(result[5]), "class_name": "object" # 可根据需要添加类别名称映射 }) return { "success": True, "predictions": formatted_results, "message": "检测完成" } except Exception as e: raise HTTPException(status_code=500, detail=f"预测失败: {str(e)}") @app.get("/health") async def health_check(): """健康检查接口""" return {"status": "healthy", "model_loaded": model_predictor is not None} # 挂载静态文件目录 app.mount("/static", StaticFiles(directory="static"), name="static")

4.3 数据模型定义

使用Pydantic定义清晰的数据模型：

# app/schemas.py from pydantic import BaseModel from typing import List, Optional class BoundingBox(BaseModel): xmin: float ymin: float xmax: float xmin: float class DetectionResult(BaseModel): bbox: List[float] confidence: float class_id: int class_name: str class DetectionResponse(BaseModel): success: bool predictions: List[DetectionResult] message: str

5. 服务部署与运行

5.1 启动FastAPI服务

使用UVicorn启动服务，推荐使用生产环境配置：

# 开发环境启动 uvicorn app.main:app --reload --host 0.0.0.0 --port 8000 # 生产环境启动（推荐） uvicorn app.main:app --host 0.0.0.0 --port 8000 \ --workers 4 \ --timeout-keep-alive 60 \ --log-level info

5.2 使用Docker容器化部署

创建Dockerfile实现一键部署：

FROM python:3.9-slim WORKDIR /app # 安装系统依赖 RUN apt-get update && apt-get install -y \ libgl1 \ libglib2.0-0 \ && rm -rf /var/lib/apt/lists/* # 复制依赖文件并安装 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt # 复制项目文件 COPY . . # 暴露端口 EXPOSE 8000 # 启动命令 CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "4"]

构建和运行Docker容器：

# 构建镜像 docker build -t damo-yolo-api . # 运行容器 docker run -d -p 8000:8000 \ -v $(pwd)/weights:/app/weights \ --name damo-yolo-api \ damo-yolo-api

6. 接口测试与使用

服务启动后，你可以通过多种方式测试接口：

6.1 使用curl测试

curl -X POST "http://localhost:8000/predict" \ -F "image=@path/to/your/image.jpg"

6.2 使用Python客户端

import requests import json def test_api(image_path): url = "http://localhost:8000/predict" with open(image_path, 'rb') as f: files = {'image': f} response = requests.post(url, files=files) if response.status_code == 200: results = response.json() print(json.dumps(results, indent=2)) else: print(f"请求失败: {response.status_code}") # 测试接口 test_api("test_image.jpg")

6.3 使用Swagger文档

FastAPI自动生成交互式API文档，访问http://localhost:8000/docs即可查看和测试所有接口。

7. 性能优化建议

在实际部署中，你可能需要进一步优化性能：

7.1 启用批处理支持

修改predict接口支持批量图像处理：

@app.post("/batch_predict") async def batch_predict(images: List[UploadFile] = File(...)): """批量预测接口""" results = [] for image in images: contents = await image.read() pil_image = Image.open(io.BytesIO(contents)).convert("RGB") result = model_predictor.predict(pil_image) results.append(result) return {"results": results}

7.2 添加缓存机制

使用Redis或内存缓存存储频繁请求的结果：

from fastapi_cache import FastAPICache from fastapi_cache.backends.redis import RedisBackend from fastapi_cache.decorator import cache from redis import asyncio as aioredis @app.on_event("startup") async def startup(): redis = aioredis.from_url("redis://localhost") FastAPICache.init(RedisBackend(redis), prefix="fastapi-cache") @app.post("/predict") @cache(expire=300) # 缓存5分钟 async def predict(image: UploadFile = File(...)): # 处理逻辑

7.3 监控和日志

添加详细的日志记录和性能监控：

import logging from prometheus_fastapi_instrumentator import Instrumentator # 设置日志 logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) # 添加Prometheus监控 Instrumentator().instrument(app).expose(app) @app.middleware("http") async def log_requests(request, call_next): logger.info(f"请求: {request.method} {request.url}") response = await call_next(request) logger.info(f"响应: {response.status_code}") return response

8. 总结

通过FastAPI部署DAMO-YOLO TinyNAS模型，我们成功地将一个复杂的目标检测模型转换成了简单易用的Web服务。这种方法有几个明显优势：

部署简单：只需要几行命令就能启动服务，无需复杂的环境配置使用方便：提供标准的RESTful API接口，任何编程语言都能调用性能出色：FastAPI的异步特性确保了高并发下的性能表现易于扩展：可以轻松添加身份验证、限流、监控等企业级功能

实际使用中，你可能还会遇到模型版本管理、A/B测试、自动扩缩容等需求，这些都可以在现有基础上进一步扩展。最重要的是，这个方案让你能够专注于模型本身的效果优化，而不必为部署问题烦恼。

如果你刚开始接触模型部署，建议先从单机部署开始，熟悉整个流程后再考虑分布式部署和云原生方案。记住，最好的方案永远是那个最能满足你实际需求的方案。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。