YOLOv8改进，YOLOv8的Neck替换成AFPN（CVPR 2023）

摘要

多尺度特征在物体检测任务中对编码具有尺度变化的物体非常重要。多尺度特征提取的常见策略是采用经典的自上而下和自下而上的特征金字塔网络。然而，这些方法存在特征信息丢失或退化的问题，影响了非相邻层次的融合效果。一种渐进式特征金字塔网络（AFPN），以支持非相邻层次的直接交互。AFPN通过融合两个相邻的低层特征开始，并渐进地将高层特征纳入融合过程中。通过这种方式，可以避免非相邻层次之间较大的语义差距。鉴于在每个空间位置进行特征融合时可能会出现多对象信息冲突，进一步利用自适应空间融合操作来缓解这些不一致性。

AFPN 介绍

AFPN 在初始阶段融合两个低级特征。随后的阶段融合更高级别的特征，而最后阶段将顶级特征添加到特征融合过程中。黑色箭头代表卷积，青绿色箭头代表自适应空间融合。架构如下图：

在主干网的自下而上特征提取过程中，AFPN 渐进地集成低层、高层和顶层特征。具体来说，AFPN 最初融合低层特征，然后是深层特征，最后是最顶层特征，即最抽象的特征。非相邻层次特征之间的语义间隙比相邻层次特征之间的语义间隙更大，尤其是底层和顶层特征。因此，直接使用 C2、C3、C4 和 C5 进行特征融合是不合理的。由于 AFPN 的架构是渐进的，这将使不同层次特征在渐进融合过程中语义信息更接近，从而缓解上述问题。例如，C2 和 C3 之间的特征融合减少了它们之间的语义间隙。由于 C3 和 C4 是相邻层次特征，因此 C2 和 C4 之间的语义间隙也减少了。

为了对齐维度并准备特征融合，我们利用 1×1 卷积和双线性插值方法进行特征上采样。另一方面，根据所需的下采样率，使用不同的卷积核和步幅进行下采样。例如，我们应用 2 × 2 卷积，步幅为 2，以实现 2 倍下采样；应用 4 × 4 卷积，步幅为 4，以实现 4 倍下采样；应用 8 × 8 卷积，步幅为 8，以实现 8 倍下采样。在特征融合之后，我们继续使用四个残差单元学习特征，这些残差单元类似于 ResNet ，每个残差单元包括两个 3 × 3 卷积。AFPN 仅引入了普通卷积组件，因此在实际应用中的 AFPN 更为可行和实用。

自适应空间融合操作，如下图所示，展示了在三个不同级别上的特征融合

理论详解可以参考链接：论文地址
代码可在这个链接找到：