Halcon实战：用smallest_rectangle1和smallest_rectangle2搞定工业瑕疵的两种矩形框标注

Halcon实战：两种矩形框标注在工业瑕疵检测中的精准应用

在工业视觉检测领域，准确标注瑕疵区域是后续分析和处理的关键第一步。面对产线上快速移动的零件、液晶面板或金属表面，工程师们常常需要在毫秒级时间内完成瑕疵定位与标注。Halcon作为机器视觉领域的标杆工具，提供了smallest_rectangle1和smallest_rectangle2两种矩形框标注方法，它们看似相似却各有独特的适用场景。

1. 工业瑕疵标注的核心需求与挑战

现代生产线对视觉检测系统提出了近乎苛刻的要求：每分钟处理上百件产品的同时，还要确保瑕疵标注的准确性。以液晶屏检测为例，一个0.1mm的亮点缺陷可能需要在300mm×400mm的屏幕上被精准标记；而金属零件表面的划痕，则可能呈现各种不规则的角度分布。

典型工业瑕疵特征对比：

在这种背景下，选择正确的矩形框标注方式直接影响着：

• 后续分类算法的准确率
• 缺陷量化统计的可靠性
• 不良品图像数据库的规范性

我曾在一个汽车零件检测项目中，因为初期选错了矩形标注方式，导致斜向划痕的尺寸测量误差达到15%。这个教训让我深刻认识到两种矩形框的本质区别。

2. 正矩形标注：当方向不是关键因素时

smallest_rectangle1生成的正矩形（轴对齐矩形）是工业检测中最基础的标注形式。它的核心特点是矩形的边始终平行于图像坐标系，不考虑被检测物体的实际朝向。

2.1 技术实现解析

典型的正矩形标注代码流程如下：

* 检测目标区域 threshold (Image, Region, 128, 255) connection (Region, ConnectedRegions) select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 100, 99999) * 获取正矩形参数 smallest_rectangle1 (SelectedRegions, Row1, Column1, Row2, Column2) * 生成矩形区域 gen_rectangle1 (Rectangle, Row1, Column1, Row2, Column2)

关键参数说明：

• Row1, Column1：矩形左上角坐标
• Row2, Column2：矩形右下角坐标
• 坐标系统原点(0,0)位于图像左上角

2.2 最适合的应用场景

正矩形标注在以下场景表现优异：

1. 尺寸测量应用
   当需要测量物体的长宽尺寸时，正矩形提供了最直观的参考。例如：

   • 电子元件引脚间距检测
   • 包装盒尺寸验证
   • 印刷电路板焊盘尺寸测量

2. 规则形状缺陷
   对于近似圆形的缺陷（如气泡、斑点），正矩形能提供足够的包容性而不引入额外误差。

3. 高速简单检测
   正矩形计算量小，在需要极高处理速度的产线上（如每分钟300件以上的检测），能显著降低系统负荷。

提示：在液晶屏亮点检测中，正矩形标注可使后续的缺陷分类简化，因为所有标注框的方向一致性有利于特征提取。

3. 旋转矩形标注：捕捉方向敏感特征

smallest_rectangle2生成的旋转矩形（最小外接矩形）则更加智能——它会根据目标区域的形状自动调整角度，用最小的面积包围目标。

3.1 技术实现细节

旋转矩形的典型实现代码如下：

* 检测目标区域 threshold (Image, Region, 128, 255) connection (Region, ConnectedRegions) select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 100, 99999) * 获取旋转矩形参数 smallest_rectangle2 (SelectedRegions, Row, Column, Phi, Length1, Length2) * 生成旋转矩形轮廓 gen_rectangle2_contour_xld (Rectangle, Row, Column, Phi, Length1, Length2) * 转换为区域格式（可选） gen_region_contour_xld (Rectangle, RegionRectangle, 'margin')

核心参数解析：

• Row, Column：矩形中心坐标
• Phi：旋转角度（弧度制，-π/2到π/2）
• Length1：长边的一半长度
• Length2：短边的一半长度

3.2 不可替代的应用优势

旋转矩形在以下场景中展现出独特价值：

1. 方向敏感缺陷检测
   对于金属表面的斜向划痕、纺织品的纹理断裂等具有明显方向性的缺陷，旋转矩形能更精确地反映缺陷的实际几何特征。

2. 高精度定位
   在机器人引导应用中，旋转矩形提供的角度信息对于机械手抓取方向的计算至关重要。例如：

   • 电子元件拾取与放置
   • 无序抓取系统
   • 精密装配引导

3. 紧凑型标注
   当需要最小化标注区域以减少背景干扰时，旋转矩形通常比正矩形面积小20-50%，这在深度学习训练样本准备阶段特别有价值。

两种矩形标注效果对比表：

4. 实战选择策略与性能优化

在实际项目中，选择哪种矩形标注方式需要综合考虑多个因素。基于多个工业检测项目的经验，我总结出以下决策流程：

4.1 选择决策树

1. 缺陷是否有明显方向性？

   • 是 → 选择旋转矩形
   • 否 → 进入下一问题

2. 是否需要测量绝对尺寸？

   • 是 → 选择正矩形
   • 否 → 进入下一问题

3. 处理速度是否关键？

   • 是 → 选择正矩形
   • 否 → 进入下一问题

4. 后续是否需要角度信息？

   • 是 → 选择旋转矩形
   • 否 → 选择正矩形

4.2 性能优化技巧

对于正矩形标注：

* 批量处理多个区域时，使用tuple处理提升效率 count_obj (ConnectedRegions, Number) tuple_gen_const (Number, 0, Dummy) smallest_rectangle1 (ConnectedRegions, Rows1, Cols1, Rows2, Cols2)

对于旋转矩形标注：

* 预先过滤小区域减少计算量 select_shape (ConnectedRegions, LargeRegions, 'area', 'and', MinArea, 99999) smallest_rectangle2 (LargeRegions, Rows, Cols, Phis, Lengths1, Lengths2) * 角度单位转换（弧度→度） Degrees := Phis * 180 / 3.1415926

4.3 混合使用策略

在某些复杂场景中，组合使用两种矩形标注能获得更好效果。例如在PCB板检测中：

1. 先用正矩形快速定位所有潜在缺陷区域
2. 对特定类型的缺陷（如焊锡桥接）使用旋转矩形进行二次分析
3. 将两种标注结果融合输出

* 第一阶段：正矩形初筛 smallest_rectangle1 (AllDefects, R1, C1, R2, C2) * 第二阶段：对特定缺陷使用旋转矩形 classify_defects (AllDefects, BridgeDefects) smallest_rectangle2 (BridgeDefects, Br, Bc, Bphi, Bl1, Bl2) * 结果融合输出 gen_rectangle1 (Rect1, R1, C1, R2, C2) gen_rectangle2_contour_xld (Rect2, Br, Bc, Bphi, Bl1, Bl2)

5. 高级应用与疑难解答

在实际工程应用中，矩形标注还会遇到各种特殊情况。以下是几个典型问题的解决方案：

5.1 处理粘连缺陷

当多个缺陷区域粘连在一起时，直接使用矩形标注会导致不准确的结果。解决方法：

* 使用形态学操作分离粘连区域 dilation_circle (ConnectedRegions, Separated, 3.5) connection (Separated, IndividualRegions) * 然后应用矩形标注 smallest_rectangle2 (IndividualRegions, Rows, Cols, Phis, L1, L2)

5.2 超大区域优化

对于非常大的区域（如超过图像尺寸50%），直接计算最小外接矩形可能消耗较多资源。优化方案：

* 先缩小区域处理 reduce_domain (Image, LargeRegion, ImageReduced) zoom_image_size (ImageReduced, ImageZoomed, 512, 512, 'constant') * 在小图上计算矩形参数 smallest_rectangle2 (ImageZoomed, Row, Col, Phi, L1, L2) * 将参数按比例映射回原图 Row := Row * OriginalHeight / 512 Col := Col * OriginalWidth / 512 L1 := L1 * max(OriginalHeight, OriginalWidth) / 512 L2 := L2 * max(OriginalHeight, OriginalWidth) / 512

5.3 非矩形区域处理

对于L形、U形等复杂形状区域，单个旋转矩形可能无法准确表达。此时可以考虑：

1. 将区域分解为多个凸部分分别标注
2. 使用多边形逼近代替矩形标注
3. 结合正矩形和旋转矩形的混合标注方案

在最近一个航空零件检测项目中，我们遇到了一种特殊的"星形"缺陷。经过多次试验，最终采用了正矩形标注缺陷整体区域，同时用多个旋转矩形标注各个放射状分支的创新方案，取得了很好的检测效果。