HRDNet: High-resolution Detection Network for Small Objects论文阅读

摘要

小目标检测具有挑战性，因为小目标往往不包含足够的细节信息，甚至在深层网络中可能消失。通常，将高分辨率图像输入网络可以缓解这一问题。然而，简单地增大分辨率又会带来更多问题：一方面，它加剧了目标尺度的巨大变化；另一方面，它会引入难以承受的计算开销。为了在保留高分辨率图像优势的同时不引入新问题，我们提出了高分辨率检测网络（HRDNet）。HRDNet 使用多深度主干网络接受多分辨率输入。为了充分利用多种特征，我们在 HRDNet 中提出了多深度图像金字塔网络（MD‑IPN）和多尺度特征金字塔网络（MS‑FPN）。MD‑IPN 通过多条深度不同的网络支路，保持了多种位置信息：高分辨率输入经过浅层网络以保留更多位置信息并降低计算成本，而低分辨率输入经过深层网络以提取更丰富的语义信息。通过从高到低分辨率提取多样化特征，MD‑IPN 能够在提升小目标检测性能的同时，保持中大目标的检测效果。MS‑FPN 则旨在对 MD‑IPN 生成的多尺度特征组进行对齐与融合，以缓解这些多尺度多层级特征之间的信息不平衡问题。在 MS COCO2017、Pascal VOC2007/2012 以及典型小目标数据集 VisDrone2019 上进行了大量实验和消融研究。值得一提的是，我们提出的 HRDNet 在这些数据集上均取得了最新的最优性能，且在小目标检测上表现尤为突出。

1 引言

目标检测是一个具有广泛应用前景的挑战性任务。随着深度学习的飞速发展，目标检测取得了显著进展。根据候选框（proposal）生成方式的不同，目标检测算法可分为两阶段方法和单阶段方法。与两阶段检测器（如 [Cai and Vasconcelos, 2018; Ren et al., 2017]）相比，单阶段方法（如 [Lin et al., 2017b; Liu et al., 2016]）结构更简单，因此在保持较高速度的同时仅有轻微的精度损失。尽管多数成功方法基于锚框机制，但近年来的先进算法多数转向了无锚检测，例如 CornerNet [Law and Deng, 2018]、FCOS [Tian et al., 2019]、FSAF [Zhu et al., 2019a] 等。这些基于卷积神经网络（CNN）的检测方法能够先在低层级特征中提取线条、圆形等基本图像元素，再“迭代组合”成目标，但也因此它们对小目标的检测能力相对不足。

通常，上述检测方法只要能获得足够强大的骨干网络特征，其检测性能便可得到保障。大多数情况下，更深的网络骨干能够提取更丰富的多层级特征，并通过特征金字塔网络（FPN）进行融合以提升检测效果。然而，深度增加必然带来更高的计算成本和内存消耗。

检测性能通常对输入图像的分辨率高度敏感。高分辨率图像保留了更多细节和位置信息，更有利于小目标检测；但它同样引入了新的问题：

1、容易破坏大目标的检测效果（参见表 1）；
2、检测往往需要更深的网络以获得更强的语义表示，从而带来难以承受的计算成本。

因此，在小目标检测中，既需要高分辨率图像，也需要深层骨干来处理小尺度图像，但我们必须在大目标与小目标检测性能，以及高性能与低计算复杂度之间做出权衡。

为了解决上述问题，我们提出了高分辨率检测网络（HRDNet）。如图 1 所示，HRDNet 由两部分组成：多深度图像金字塔网络（MD‑IPN）和多尺度特征金字塔网络（MS‑FPN）。HRDNet 的核心思想是：对低分辨率图像采用深层骨干进行处理，以获取强语义特征；对高分辨率图像则采用浅层骨干进行处理，以保留更多细节和位置信息。浅层骨干在高分辨率图像上提取特征的有效性已在 [Pang et al., 2019a] 中得到验证。通过 HRDNet，我们不仅能够在高分辨率下获得小目标的丰富细节，还能通过融合多深度、多尺度网络来兼顾效率与效果。