- Focal Loss 详解
- 1. 背景
- Focal Loss 是由 Lin et al. (2017) 在论文 《Focal Loss for Dense Object Detection》 中提出的一种损失函数，主要用于解决 目标检测（Object Detection） 中的 类别不平衡问题，特别是在 One-Stage 检测器（如 RetinaNet） 中表现优异。
- 在目标检测任务中，背景（负样本）通常远多于前景（正样本），导致模型倾向于预测背景，从而影响检测性能。传统的交叉熵损失（Cross-Entropy Loss）对所有样本一视同仁，无法有效处理这种不平衡问题。
- 2. 传统交叉熵损失的问题
- 标准的交叉熵损失（CE Loss）定义为：
- CE(pt)=−log(pt)
- 其中，pt 是模型预测的正类概率（对于正样本 pt=p，对于负样本 pt=1−p）。
- 问题：
- 当 pt 很大时（即模型已经正确分类），损失仍然较大，导致训练效率低。
- 负样本（背景）数量远多于正样本，导致模型被大量简单负样本主导，难以学习难样本（Hard Examples）。
- 3. Focal Loss 的改进
- Focal Loss 在交叉熵的基础上引入了一个 调制因子（modulating factor） (1−pt)γ，用于降低易分类样本的权重，使模型更关注难样本。
- 公式：
- Focal Loss(pt)=−αt(1−pt)γlog(pt)
- 其中：
- pt：模型预测的正类概率（对于正样本 pt=p，对于负样本 pt=1−p）。
- γ（聚焦参数）：控制调制因子的强度，通常取 γ∈[0,5]。
- γ>0：难样本（pt 较小）的权重更大，易样本（pt 较大）的权重更小。
- αt（平衡因子）：用于平衡正负样本的权重，通常 αt 是一个可学习的参数或固定值（如 α=0.25 用于正样本，α=0.75 用于负样本）。
- 4. Focal Loss 的作用
- 解决类别不平衡问题
- 通过 αt 调整正负样本的权重，避免模型被大量背景样本主导。
- 关注难样本（Hard Examples）
- 通过 (1−pt)γ 降低易分类样本的权重，使模型更关注难以正确分类的样本。
- 5. Focal Loss 在目标检测中的应用
- Focal Loss 最初由 RetinaNet 提出，用于解决 One-Stage 检测器（如 SSD、YOLO）中的类别不平衡问题。
- RetinaNet 的改进点：
- 使用 Focal Loss 替代标准的交叉熵损失。
- 引入 FPN（Feature Pyramid Network） 和 Anchor Boxes 提高检测精度。
- 6. 代码实现（PyTorch 示例）
- python
- import torchimport torch.nn as nnimport torch.nn.functional as Fclass FocalLoss(nn.Module): def __init__(self, alpha=0.25, gamma=2.0): super(FocalLoss, self).__init__() self.alpha = alpha self.gamma = gamma def forward(self, inputs, targets): # 计算交叉熵损失 ce_loss = F.cross_entropy(inputs, targets, reduction='none') # shape: [N] # 计算 pt = exp(-ce_loss) pt = torch.exp(-ce_loss) # 模型预测的概率 # 计算 Focal Loss focal_loss = self.alpha * (1 - pt) ** self.gamma * ce_loss return focal_loss.mean() # 返回平均损失
- 使用示例：
- python
- # 假设 inputs 是模型的 logits，targets 是真实标签criterion = FocalLoss(alpha=0.25, gamma=2.0)loss = criterion(model_output, ground_truth_labels)
- 7. Focal Loss 的变体
- RetinaNet Focal Loss：适用于目标检测中的正负样本不平衡。
- Dice Loss + Focal Loss：结合 Dice Loss（用于分割任务）和 Focal Loss，提高小目标检测效果。
- Class-Balanced Focal Loss：动态调整 α 以适应不同类别的样本数量。
- 8. 总结
- 特性说明
- 核心思想 降低易分类样本的权重，增强难样本的影响
- 适用场景 类别不平衡问题（如目标检测、长尾分类）
- 关键参数 γ（聚焦参数）、α（平衡因子）
- 改进效果 提高模型对难样本的学习能力，提升检测精度
- Focal Loss 在 目标检测（RetinaNet、FCOS） 和 医学图像分析（如肿瘤检测） 中有广泛应用，是解决类别不平衡问题的有效方法之一。
