开放词汇YOLO两大主流模型学习：YOLO-World与YOLOE
一、前言
传统YOLO（YOLOv8/YOLO11）属于闭集检测，只能识别训练集中预定义类别，无人机航拍、工业巡检等场景经常出现未知目标，无法零样本识别。
YOLO-World、YOLOE是基于YOLO架构的实时开放词汇目标检测模型，支持文本自定义类别零样本检测，无需重新训练即可识别任意新物体，完美适配无人机航拍、边缘嵌入式部署场景。
二、YOLO-World 完整解析
2.1 基础信息
论文：YOLO-World: Real-Time Open-Vocabulary Object Detection（2024）
主干：YOLOv8 Darknet 骨干网络
核心定位：纯文本提示实时开放集检测，CNN轻量化开放词汇基线模型
2.2 整体网络架构
三大核心模块：
1.视觉检测分支
YOLOv8原生Backbone+PAN多尺度特征金字塔，提取图像多尺度特征，负责小目标、大目标分层特征提取，支持S/M/L/X轻量化多尺度模型。
2.CLIP文本编码分支
固定预训练CLIP Transformer文本编码器，推理时输入文本prompt，转换为文本语义嵌入向量。
3.RepVL-PAN 跨模态融合模块（核心创新）
可重参数化视觉语言融合网络，使用T-CSP层融合图像、文本特征，采用区域-文本对比损失，让图像目标区域特征与对应文本语义向量空间对齐。
2.3 推理两种模式
1.在线推理（动态文本）
每次推理实时运行CLIP编码器，适合频繁更换检测类别场景；缺点：边缘设备推理额外占用显存、增加延迟。
2.离线词汇重参数推理
提前编码固定场景类别文本嵌入，重参数融合进网络权重，推理时无需加载CLIP，速度提升，但无法动态更换类别。
2.4 YOLO-World 优缺点
优势
1. 纯CNN架构，相比GLIP、Grounding DINO等Transformer开放集模型速度大幅提升；
2. 基于成熟YOLOv8，上手简单，微调门槛低；
3. 支持离线重参数，固定场景可实现接近原生YOLO推理速度。
缺陷
1.仅支持文本提示，无视觉参考图检测、无内置通用词汇模式；
2. 在线推理必须携带完整CLIP文本分支，RK3588等边缘板显存占用高、帧率暴跌；
3. 仅支持目标检测，无实例分割能力；
4. 零样本小目标精度较差，无人机远距离微小目标漏检严重；
5. 训练资源消耗大，小规模航拍数据集微调收敛慢。
2.5 极简推理代码（Ultralytics）
from ultralytics import YOLOWorld # 加载预训练模型 model = YOLOWorld("yolo-world-l.pt") # 自定义检测类别 classes = ["drone", "bird", "power line", "car"] model.set_classes(classes) # 图片推理 results = model.predict("uav_image.jpg", conf=0.25) results[0].show()三、YOLOE完整解析
3.1 基础信息
论文：YOLOE: Real-Time Seeing Anything（ICCV2025 CCF A类）
主干：兼容YOLOv8/YOLO11轻量化主干
核心定位：统一多提示开放词汇检测+分割一体化模型，专为边缘设备优化，YOLO-World迭代升级版
3.2 三大核心创新（碾压YOLO-World）
1.RepRTA 可重参数化区域文本对齐
解决YOLO-World推理携带CLIP的算力开销问题：
训练阶段：完整CLIP编码文本，轻量化MLP学习文本嵌入映射；
重参数融合：推理时将文本分支权重合并进标准检测头；
推理零额外开销：推理阶段无独立文本编码器，速度和原生YOLO11完全一致，显存占用降低40%以上，完美适配RK3588嵌入式。
2.三种全场景提示模式（YOLO-World仅支持文本）
1.文本Prompt：输入任意文字自定义目标（同YOLO-World）；
2.视觉Prompt：上传参考图片框选目标，检测画面同类物体；
3.无Prompt内置词汇：内置1200+通用类别，无需输入文本直接识别画面所有物体。
3.检测+实例分割一体化
单模型同时输出目标框+像素级掩码，无需额外分支，无人机航拍目标分割、轮廓提取一步完成。
3.3 YOLOE 性能指标对比
指标 | YOLO-Worldv2 | YOLOE | 提升幅度 |
LVIS mAP | 28.4 | 31.9 | +3.5AP |
T4推理速度 | 52FPS | 73FPS | 1.4倍加速 |
训练算力消耗 | 基准 | 1/3 | 节省67%训练资源 |
边缘显存占用 | 高 | 低 | 减少42%显存 |
3.4 YOLOE 优缺点
优势
1. 推理无CLIP额外开销，轻量化模型可在RK3588实时跑无人机视频流；
2. 三种提示模式，适配航拍未知小目标、巡检多场景；
3. 检测+分割一体，单模型完成多任务；
4. ICCV顶会工作，论文创新度更高，适合ICASSP投稿；
5. 小目标零样本识别能力更强，远距离航拍物体漏检更少。
缺陷
1. 论文发布时间较新，开源生态成熟度略低于YOLO-World；
2. 复杂多文本混合提示微调需要少量数据集。
3.5 YOLOE 极简推理代码
from ultralytics import YOLOE # 加载YOLOE轻量化模型 model = YOLOE("yoloe11-s.pt") # 模式1：文本提示（无人机航拍目标） model.set_prompt_text(["small bird", "transmission tower", "vehicle"]) res = model("uav_view.jpg") res[0].show() # 模式2：无内置词汇，自动识别画面所有物体 # model.set_prompt_free() # 模式3：视觉参考图提示 # model.set_prompt_image("reference_target.jpg")四、YOLO-World vs YOLOE 全方位对比表
对比维度 | YOLO-Worldv2 | YOLOE |
论文级别 | 预印本arXiv | ICCV2025 CCF A类 |
提示方式 | 仅文本Prompt | 文本/视觉/无提示三种 |
推理额外开销 | 推理保留CLIP，高显存占用 | RepRTA重参数，推理零开销 |
任务能力 | 仅目标检测 | 检测+实例分割一体化 |
零样本小目标精度 | 一般，航拍易漏检 | 优秀，远距离小目标检出率高 |
训练成本 | 高 | 仅YOLO-World的1/3 |
边缘嵌入式适配 | 差，RK3588帧率低 | 极强，和原生YOLO11速度一致 |
部署友好度 | 固定离线场景可用，动态场景卡顿 | 全场景通用，支持ONNX/TensorRT导出 |
五、无人机小目标+边缘部署选型建议
1.做ICASSP论文、嵌入式无人机检测项目：优先选择YOLOE
重参数化推理无额外算力损耗，NPU加速后帧率数据更有说服力；
内置分割、多提示模式，可创新航拍小目标多尺度融合、频域降噪优化；
ICCV顶会模型，对比SOTA时创新优势明显，审稿人认可度更高。
2.仅做固定类别文本检测、不涉及边缘硬件部署：可选YOLO-World
仅适合PC端离线图片处理，不推荐无人机实时航拍场景。
六、总结
1. YOLO-World是第一代实时开放词汇YOLO，实现基础文本零样本检测，但存在推理开销大、功能单一、边缘部署困难等硬伤；
2. YOLOE作为迭代升级版，通过RepRTA重参数化解决推理算力痛点，新增视觉提示、实例分割、内置词汇三大能力，精度、速度、部署友好度全面超越YOLO-World；
3. 针对无人机嵌入式小目标检测、ICASSP信号/硬件加速类论文，YOLOE是最优基线模型，YOLO-World仅作为对比实验对照组使用。