DINO-DETR

DETR收敛慢的问题

• PnP-DETR（ICCV 2021） 改进了 DETR 计算量大的问题，利用提出的 poll and pool（PnP）采样模块在图像特征上自适应的采样不同粒度的特征，从而实现计算量和性能的折衷。

• Deformable DETR（ICLR 2021） 通过改变 transformer 中注意力机制的计算方式来减小计算量，其借助可变性卷积的思想，为每个 token 采样固定数量的其他 token 完成注意力的计算。同时，Deformable DETR 引入了多尺度训练来提高小目标检测的性能。至此，对 DETR 存在的两个弊端都进行了探索并使其得到一定程度的缓解。

• Sparse DETR（ICLR 2022） 在多尺度 Deformable DETR 的基础上进一步降低 encoder 中注意力机制的计算成本，在检测性能不会显著下降的基础上只更新 encoder tokens 的一部分，从而实现选择性地更新 decoder 预期引用的 token。

• Conditional DETR（ICCV 2021） 认为 DETR 收敛缓慢的原因在于其高度依赖高质量的 content embedding 去定位物体的边界