one-shot 序列图像红外小目标分割
one-shot 序列图像红外小目标分割
IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING
代码还未开源 GitHub - D-IceIce/one-shot-IRSTS
few-shot：利用少量标注样本进行学习
one-shot: 属于few-shot的特殊情况，只用一个样本进行学习
zero-shot：不通过学习，对未见过的类别进行学习
摘要：
红外小目标序列具有很强的帧间相似性，并且包含丰富的上下文信息，这促使我们用最少的数据实现序列红外小目标分割。受SAM (Segment Anything Model)所领导的大模型在各种下游任务中取得成功的启发，我们提出了一种one-shot、无需训练的方法，将SAM的zero-shot泛化能力完美地适应于序列红外小目标分割。以一帧注释为参考，我们的方法可以准确地分割序列中其他帧中的小目标。具体而言，我们首先通过参考图像与测试图像之间的局部特征匹配获得置信度图。然后，以置信图中的最高点作为提示，设计了以点提示为中心的聚焦(PPCF)模块，解决边界模糊的小目标的过度分割问题。随后，为了防止漏检和误检，我们引入了三级集成(TLE)模块，该模块将前两步中不同级别获得的掩码集成以产生最终掩码。实验表明，我们的方法只需要one-shot就可以达到与基于传统many-shot监督的最先进方法相当的性能，甚至在少few-shot设置中表现更好。此外，消融研究证实了我们的方法在one-shot样本变化、场景变化和多个目标存在下的稳健性。
Introduction
大模型应用到IRSTS中存在一些挑战。以SAM为例：
1)对于特定目标的分割，SAM需要对每张图像进行手动提示，这对于涉及众多红外小目标分割任务的实际应用是不可能的。
2)在预训练阶段，SAM专注于一般目标，使其更适合于大型目标的分割。这对于红外小目标的特征提取和精确分割效果较差。
本文的主要贡献：
- 这是第一种无需训练的one-shot红外小目标分割方法。仅提供一个注释帧作为参考，从而能够准确分割序列中的其他帧。
- 充分利用现有大型基础模型对红外小目标探测的强大泛化能力，提出PPCF和TLE模块，有效适应大型基础模型对小目标的细微特征。
- 仅使用one-shot，我们就实现了与大规模数据训练的最先进的红外小目标分割模型相当的性能
就实现了与大规模数据训练的最先进的红外小目标分割模型相当的性能
