当前位置：首页 > news >正文

YOLOv8 OBB + 关键点：从旋转框到方向判定的端到端实践

news 2026/4/24 0:16:43

1. 旋转框检测与关键点检测的结合价值

在计算机视觉领域，旋转框检测（OBB）和关键点检测都是非常重要的技术。旋转框检测相比传统的水平矩形框（HBB），能够更精确地框选倾斜或旋转的目标，而关键点检测则可以定位目标的特定部位。将这两种技术结合起来，可以实现有向目标检测，即不仅能检测目标的位置和大小，还能判断目标的正方向。

这个技术在多个实际场景中都有重要应用。比如在自动驾驶中，我们需要判断车辆的行驶方向；在航拍图像分析中，需要确定船只的航向；在工业质检中，可能需要判断零件的摆放方向。传统方法往往需要分别检测旋转框和关键点，然后再通过后处理计算方向，而YOLOv8 OBB + 关键点的方案提供了一种端到端的解决方案。

我最近在一个无人机航拍项目中尝试了这个方法。项目中需要统计港口船只的数量和航向，传统方法先用YOLOv8检测船只，再用关键点检测船头，最后计算方向，流程繁琐且容易出错。改用旋转框+关键点的端到端方案后，不仅简化了流程，准确率还提升了15%左右。

2. 数据标注与格式转换

2.1 标注工具选择与使用

数据标注是这个项目的第一步，也是非常重要的一步。我推荐使用X-AnyLabeling这款标注工具，它支持同时标注旋转框和关键点，而且操作界面友好。安装方法很简单，可以通过pip直接安装：

pip install anylabeling

启动后，选择"旋转矩形"工具标注目标主体，再用"关键点"工具标注方向特征点（如车头、船头）。标注完成后，工具会生成JSON格式的标注文件。

在实际标注时，有几个注意事项：

旋转框要尽量贴合目标边缘
关键点要标注在明确的、可重复识别的位置
对于同类目标，关键点的位置要一致（比如都标在车头正中）

2.2 标注格式转换

YOLOv8 OBB需要特定的训练数据格式。我们需要将JSON标注转换为YOLO格式的TXT文件。转换脚本的核心逻辑是：

读取JSON文件中的旋转框和关键点信息
检查关键点是否在对应的旋转框内
将旋转框的四个角点坐标、类别ID、关键点坐标按顺序写入TXT文件

我改进后的转换脚本增加了对多类别的支持，并且优化了关键点匹配算法。转换后的格式如下：

x1 y1 x2 y2 x3 y3 x4 y4 class_id kpt_x kpt_y visibility

其中visibility固定为2表示关键点可见。

3. 模型结构调整与训练

3.1 网络结构修改

YOLOv8本身支持关键点检测，但默认实现是基于水平框的。我们需要在OBB检测头的基础上增加关键点预测分支。具体修改包括：

在OBB头部并行添加关键点回归分支
调整损失函数，同时计算旋转框损失和关键点损失
修改后处理逻辑，确保旋转框和关键点的匹配

关键代码修改如下：

class OBBKeypointModel(nn.Module): def __init__(self, cfg='yolov8s-obb.yaml'): super().__init__() self.model = DetectionModel(cfg) # 添加关键点预测头 self.kpt_head = nn.Sequential( nn.Conv2d(256, 256, kernel_size=3, padding=1), nn.ReLU(), nn.Conv2d(256, 2, kernel_size=1) # 预测x,y坐标 ) def forward(self, x): features = self.model.backbone(x) obb_output = self.model.head(features) kpt_output = self.kpt_head(features) return obb_output, kpt_output

3.2 训练配置与技巧

训练时需要特别注意以下几点：

学习率设置：关键点回归通常需要更小的学习率
损失权重：平衡旋转框损失和关键点损失
数据增强：适当使用旋转增强，但要保持关键点与旋转框的相对位置

我的训练配置示例：

# yolov8-obb-kpt.yaml train: epochs: 300 batch: 16 lr0: 0.01 lrf: 0.01 weight_decay: 0.0005 warmup_epochs: 3.0 obb_loss_weight: 0.7 kpt_loss_weight: 0.3

训练过程中发现，同时优化两个任务有时会出现冲突。解决方法是在前50个epoch先单独训练旋转框检测，然后再联合训练两个任务。

4. 方向判定与后处理

4.1 射线法判定方向

得到旋转框和关键点后，方向判定的算法很简单：

计算旋转框中心点坐标
计算中心点到关键点的向量
归一化向量得到方向

Python实现示例：

def calculate_direction(obb, kpt): # obb: [x1,y1,x2,y2,x3,y3,x4,y4] # kpt: [x,y] # 计算中心点 center_x = (obb[0] + obb[2] + obb[4] + obb[6]) / 4 center_y = (obb[1] + obb[3] + obb[5] + obb[7]) / 4 # 计算方向向量 dx = kpt[0] - center_x dy = kpt[1] - center_y # 归一化 length = math.sqrt(dx*dx + dy*dy) if length > 0: dx /= length dy /= length return dx, dy