【YOLO目标检测全栈实战】56 从YOLO到CLIP：双流架构实现零样本开放词汇检测

老张，上篇我们聊了用CLIP给YOLO的检测结果打标签，但你肯定发现了问题：如果目标压根不在YOLO的预定义类别里，连候选框都出不来，CLIP再强也没用。

上周有个做工业质检的朋友找我诉苦——产线上突然出现一种新型缺陷，旧模型没训练过，重新标注数据至少要两周，产线停不起。他问我：能不能让YOLO“认识”从未见过的目标？

答案是肯定的。今天我们就用双流架构，让YOLO提供候选区域，CLIP做开放词汇分类，实现真正的零样本检测。

你不需要重新训练，只需要改几行代码，就能让模型理解“把那个圆形的、红色的、像瓶盖一样的东西框出来”这种自然语言指令。

痛点拆解：常见错误实现

很多人的第一反应是：直接把YOLO的类别概率替换成CLIP的相似度分数。这个思路看似合理，但有两个致命问题：

误区1：候选框质量依赖YOLO的类别置信度

YOLO的非极大值抑制（NMS）会过滤掉低置信度的框。如果你把阈值设低（比如0.1）来保留更多候选框，会引入大量噪声；设高（0.5）又会漏掉真正的新目标。

误区2：CLIP分类与YOLO的类别空间不匹配

YOLO训练时的类别（如“人”“车”）和开放词汇（如“穿红色衣服的工人”）的语义粒度完全不同。直接替换会导致CLIP对YOLO的粗粒度框做细粒度分类，效果很差。

看看反例代码，你可能会觉得眼熟：