当前位置：首页 > news >正文

DocArray与FastAPI集成：构建高性能多模态API的简单方法

news 2026/6/5 6:54:30

DocArray与FastAPI集成：构建高性能多模态API的简单方法

【免费下载链接】docarrayRepresent, send, store and search multimodal data项目地址: https://gitcode.com/gh_mirrors/do/docarray

DocArray是一个强大的多模态数据处理库，能够帮助开发者轻松表示、发送、存储和搜索多模态数据。当与FastAPI结合使用时，它们可以快速构建高性能的多模态API服务，让开发者能够轻松处理图像、文本等多种数据类型。

为什么选择DocArray与FastAPI集成？

DocArray提供了灵活的数据模型来表示各种类型的多模态数据，而FastAPI则以其高性能和易用性著称。两者结合可以带来以下优势：

简化多模态数据处理：DocArray的BaseDoc和DocList提供了统一的数据结构，方便处理图像、文本等多种数据类型
自动API文档生成：FastAPI自动生成交互式API文档，简化测试和使用流程
高性能：FastAPI基于Starlette构建，提供异步支持，能够处理高并发请求
类型安全：结合Pydantic模型，提供强大的类型检查和数据验证

快速开始：环境准备

首先，确保你已经安装了必要的依赖：

pip install docarray fastapi uvicorn

如果你还没有克隆DocArray仓库，可以通过以下命令获取完整代码：

git clone https://gitcode.com/gh_mirrors/do/docarray

构建你的第一个多模态API

1. 定义数据模型

使用DocArray的BaseDoc创建自定义多模态数据模型：

from docarray import BaseDoc from docarray.documents import ImageDoc, TextDoc from docarray.typing import NdArray class Mmdoc(BaseDoc): img: ImageDoc text: TextDoc title: str

2. 创建FastAPI应用

结合FastAPI和DocArrayResponse创建API端点：

from fastapi import FastAPI from docarray.base_doc import DocArrayResponse app = FastAPI() @app.post("/doc/", response_model=Mmdoc, response_class=DocArrayResponse) async def create_item(doc: Mmdoc) -> Mmdoc: return doc

3. 运行API服务

使用uvicorn启动API服务：

uvicorn main:app --reload

探索自动生成的API文档

FastAPI会自动生成交互式API文档，你可以通过访问 http://localhost:8000/docs 查看。

这个界面允许你直接测试API端点，查看请求和响应格式。

处理复杂数据类型

DocArray与FastAPI的集成支持各种复杂数据类型，包括张量、嵌入向量等。下面是一个处理图像并返回嵌入向量的示例：

class InputDoc(BaseDoc): img: ImageDoc class OutputDoc(BaseDoc): embedding_clip: NdArray embedding_bert: NdArray @app.post("/image-embedding/", response_model=OutputDoc, response_class=DocArrayResponse) async def create_item(doc: InputDoc) -> OutputDoc: # 调用模型生成嵌入向量的代码 return OutputDoc( embedding_clip=np.zeros((100, 1)), embedding_bert=np.zeros((100, 1)) )

FastAPI会自动为这些复杂数据类型生成合适的JSON模式：

处理文档列表

DocArray的DocList类型允许你轻松处理多个文档：

from docarray import DocList @app.post("/doc-list/", response_class=DocArrayResponse) async def process_docs(docs: DocList[ImageDoc]) -> DocList[ImageDoc]: # 处理文档列表的代码 return docs

实际应用场景

1. 图像分类API

class ImageClassificationRequest(BaseDoc): image: ImageDoc class ImageClassificationResponse(BaseDoc): class_name: str confidence: float @app.post("/classify-image/", response_model=ImageClassificationResponse, response_class=DocArrayResponse) async def classify_image(request: ImageClassificationRequest) -> ImageClassificationResponse: # 图像分类逻辑 return ImageClassificationResponse(class_name="cat", confidence=0.95)

2. 文本嵌入API

class TextEmbeddingRequest(BaseDoc): text: str class TextEmbeddingResponse(BaseDoc): embedding: NdArray @app.post("/text-embedding/", response_model=TextEmbeddingResponse, response_class=DocArrayResponse) async def text_embedding(request: TextEmbeddingRequest) -> TextEmbeddingResponse: # 文本嵌入生成逻辑 return TextEmbeddingResponse(embedding=np.random.rand(512))