损失函数之焦点损失函数

Focal Loss（焦点损失函数）是一种在标准交叉熵损失函数基础上改进的损失函数，由 Facebook AI Research（FAIR）的何恺明团队于 2017 年在论文《Focal Loss for Dense Object Detection》中提出。

它被设计出来主要用于解决**类别极度不平衡（Extreme Class Imbalance）**的问题，特别是在密集目标检测（Dense Object Detection）任务中。

 

核心目标：解决类别不平衡

在许多计算机视觉任务中，尤其是单阶段目标检测器（如 RetinaNet）中，前景目标（感兴趣的物体）样本数量远远少于背景（负样本）样本数量，比例可能达到 1:1000。 

传统的交叉熵损失函数在这种情况下表现不佳：

1. 被淹没：绝大多数易于分类的背景样本（易分负样本）虽然单个损失值很小，但累积起来的总损失会主导整个训练过程。
2. 难以学习：模型倾向于将所有样本都预测为数量庞大的背景类别，导致对少数前景类别的学习效果很差。

Focal Loss 通过动态缩放损失权重，使模型将训练重点放在难分类的、具有信息量的样本上。

 

 

 

 

 

原理详解：如何聚焦困难样本？ 

调制因子

(1−pt)γopen paren 1 minus p sub t close paren raised to the gamma power

(1−𝑝𝑡)𝛾

是 Focal Loss 的关键： 

• 易分类样本 (Easy Examples)：如果一个样本很容易分类（模型预测概率
  

  ptp sub t

  𝑝𝑡
  很高，接近 1），那么
  

  (1−pt)γopen paren 1 minus p sub t close paren raised to the gamma power

  (1−𝑝𝑡)𝛾
  的值会非常小，从而显著降低这个样本的损失贡献。
• 难分类样本 (Hard Examples)：如果一个样本很难分类（模型预测概率
  

  ptp sub t

  𝑝𝑡
  很低，接近 0），那么
  

  (1−pt)γopen paren 1 minus p sub t close paren raised to the gamma power

  (1−𝑝𝑡)𝛾
  的值接近 1（不会被降低），保留了其较大的损失贡献。 

通过引入

γgamma

𝛾

参数（通常取 2），Focal Loss 使得模型不再被大量的易分样本“淹没”，而是将注意力集中在那些难以学习的少数关键样本上。 

应用场景 

Focal Loss 最常用于： 

• 目标检测：特别是单阶段检测器（如 RetinaNet）。
• 图像分割：在像素级别存在严重的类别不平衡时。
• 其他具有严重类别不平衡的数据集：如异常检测、罕见疾病诊断等。

参考资料：

1. Focal Loss for Dense Object Detection（原论文）

2. 交叉熵损失函数