从滑动窗口到RPN：目标检测候选区域生成技术的演进与核心
1. 目标检测的起点：滑动窗口时代
我第一次接触目标检测是在2013年，那时候最流行的方法还是滑动窗口（Sliding Window）。这个方法简单粗暴得可爱——就像拿着放大镜在图片上一点点移动检查。具体来说，就是在图像上设置一个固定大小的矩形窗口，从左到右、从上到下依次滑动，对每个窗口内的图像块进行分类判断。
但这个方法有个致命问题：计算量爆炸。假设我们要检测一张1000x1000像素的图片，使用100x100的窗口，步长为50像素，那么需要滑动(1000/50)x(1000/50)=400次。这还只是单一尺度的检测，实际中我们需要检测不同大小的物体，就得用不同尺寸的窗口重复这个过程。我做过实验，在当时的硬件条件下，处理一张图片可能要几分钟。
更糟的是，大部分窗口都是无效的。记得有次我用滑动窗口检测行人，结果90%以上的窗口都在检测背景。这种"大海捞针"的方式实在太低效了。不过滑动窗口有个优点：实现简单。下面是个简化版的伪代码：
for scale in scales: for (x, y, window) in sliding_window(image, scale): if classifier.predict(window) == target: detections.append((x, y, scale))2. 选择性搜索：传统方法的巅峰
2014年左右，选择性搜索（Selective Search）开始流行。这个方法聪明多了——它不再盲目扫描整张图片，而是先用图像分割算法把图片分成多个区域，然后合并相似区域生成候选框。
我特别喜欢选择性搜索的一点是它考虑了多种视觉特征。比如：
- 颜色相似度：计算区域间的颜色直方图距离
- 纹理相似度：用SIFT-like特征描述纹理
- 大小相似度：优先合并小区域
- 形状相似度：考虑区域的吻合度
在实际项目中，我发现选择性搜索的召回率确实比滑动窗口高很多。有次测试COCO数据集，选择性搜索只用2000个候选框就能覆盖90%以上的目标，而滑动窗口需要上百万次计算。不过它也有硬伤：
- 不可学习：合并策略基于启发式规则，无法通过数据优化
- 速度瓶颈：CPU实现处理一张图要2-3秒
- 与检测网络割裂：候选框生成和分类是两个独立步骤
3. 深度学习的革命：RPN的诞生
当Faster R-CNN在2015年提出RPN（Region Proposal Network）时，我立刻意识到这是game changer。RPN的精妙之处在于：
- 端到端学习：候选框生成和分类统一在一个网络里
- Anchor机制：预设多种尺度和长宽比的参考框
- 特征共享：与检测网络共用基础特征提取器
我记得第一次实现RPN时的震撼——原来候选框可以这样生成！RPN的核心是在特征图的每个位置上设置k个anchor（通常k=9）。对于W×H的特征图，总共会有W×H×k个anchor。每个anchor会预测：
- 2个分类分数（前景/背景）
- 4个坐标偏移量（中心点x,y和宽高w,h）
# 简化版RPN前向计算 feature_map = backbone(image) # 获取特征图 cls_logits = conv1x1_cls(feature_map) # 分类分支 bbox_pred = conv1x1_bbox(feature_map) # 回归分支4. RPN的技术细节与实现技巧
在实际项目中，我总结了几个RPN的关键实现要点：
4.1 Anchor设计策略
- 尺度选择：通常采用[8,16,32]等指数增长的尺度
- 长宽比：常用1:1,1:2,2:1三种比例
- 特征步长：根据backbone的下采样率确定，比如ResNet通常是16
有次我调整anchor设置时发现，针对特定数据集（如行人检测）优化anchor比例能显著提升性能。把默认的[1:1,1:2,2:1]改为[1:1.5,1:2,1:3]后，AP提升了3个点。
4.2 训练样本选择
RPN训练最大的挑战是样本不平衡。我的经验法则是：
- 每张图采样256个anchor（约128正+128负）
- 正样本：与任一GT的IoU>0.7，或最高IoU的anchor
- 负样本：与所有GT的IoU<0.3
有个容易踩的坑是忽略边界anchor。有次训练时发现模型对边缘目标检测很差，后来发现是没处理好跨图像边界的anchor。解决方法很简单：过滤掉完全越界的anchor即可。
4.3 损失函数设计
RPN的损失函数由两部分组成：
L = L_cls + λL_reg分类损失L_cls通常用交叉熵，回归损失L_reg用smooth L1。λ一般设为10以平衡两个loss的量级。我在实验中发现，适当调整λ可以改善框的定位精度，但会影响分类稳定性。
5. RPN的演进与变种
这些年我跟踪过不少RPN的改进版本，有几个特别有意思：
5.1 Cascade RPN
这个改进版通过级联多个RPN逐步细化候选框。就像画画时先打草稿再描细节。具体实现是：
- 第一级RPN生成粗糙候选框
- 将候选框映射回特征图
- 第二级RPN在这些区域上进一步优化
实测下来，这种级联结构对小目标检测特别有效。在VisDrone数据集上，AP-small提升了5.6%。
5.2 Guided Anchoring
传统RPN的anchor是固定的，而Guided Anchoring会预测：
- 哪些位置该放置anchor（位置预测）
- 每个位置该用多大尺度的anchor（形状预测）
这就像让网络自己决定"在哪里画框"和"画多大的框"。实现时需要特别注意特征对齐，我通常会在预测分支后加个可变形卷积来缓解对齐问题。
5.3 RPN与单阶段检测器的融合
有趣的是，像RetinaNet这样的单阶段检测器其实也吸收了RPN的思想。它们的anchor机制和RPN如出一辙，只是把分类和回归直接做到了最后阶段。我在项目中经常把这两种思路混用，比如用RPN生成高质量候选框，再用单阶段网络做快速分类。
6. 实战中的经验与教训
在部署RPN时，我踩过不少坑，也总结了些实用技巧：
数据方面：
- Anchor设置要与数据集统计匹配。有次做交通标志检测，发现默认anchor太大，调整后mAP提升了8%
- 注意处理极端长宽比目标。有次检测旗杆时，专门增加了1:8的anchor
训练技巧：
- 预训练很重要。我习惯先用RPN单独训练，再端到端finetune
- 学习率要小心设置。RPN部分通常需要比检测头更大的学习率
推理优化：
- NMS阈值很关键。我一般设0.7，但对密集目标会降到0.5
- 可以动态调整输出的proposal数量。简单场景用100个就够，复杂场景可能需要1000+
有次在嵌入式设备部署时，发现RPN成了速度瓶颈。后来通过量化+剪枝，把推理时间从120ms降到了35ms。关键是把RPN的通道数从256减到128，几乎不影响精度。
7. RPN的局限与未来
尽管RPN很强大，但仍有改进空间。我在最近的项目中发现：
- 对小目标检测仍不够友好（特征分辨率低）
- Anchor的设计还是依赖经验
- 与transformer架构的兼容性问题
最近在试验一些无anchor的替代方案，比如基于中心点的预测。不过就目前来看，RPN依然是大多数检测系统的首选方案。它的设计思想——用神经网络学习生成候选区域——已经成为了目标检测的标准范式。