“显著性”（Saliency）是计算机视觉中的一个重要概念，主要指的是图像或视频中最吸引人注意力的区域或对象
“显著性”（Saliency）是计算机视觉中的一个重要概念，主要指的是图像或视频中最吸引人注意力的区域或对象。它模拟的是人类视觉系统对视觉场景中“显著”区域的感知能力。显著性可以用于图像理解、目标检测、图像压缩、图像分割等多个任务。
下面是对显著性在计算机视觉中的几个关键方面的解释：
一、显著性检测（Saliency Detection）
显著性检测的目标是预测图像中最能吸引人注意的区域，通常输出一个与输入图像同尺寸的显著性图（saliency map），其中每个像素的值表示其显著程度。
1. 基于底层特征的显著性（早期方法）
早期的方法依赖图像的底层视觉特征，如颜色、亮度、方向、纹理等。例如：
- Itti-Koch 模型（1998）使用颜色、强度和方向通道生成多尺度的显著性图。
- Graph-Based Visual Saliency (GBVS)：将图像表示为图，基于马尔可夫链计算显著性。
- Spectral Residual 方法：利用频域信息分析图像中的异常。
这些方法通常为无监督，但受限于表达能力。
2. 深度学习方法（基于CNN/Transformer）
近年来，显著性检测越来越多地依赖深度神经网络（CNN、ViT等），更好地学习高层语义信息。
- DSS (Deep Supervision Saliency)，U^2-Net，PoolNet 等基于编码器-解码器结构。
- 使用大规模数据集（如 DUTS, ECSSD, PASCAL-S）进行监督训练。
- 也有无监督/弱监督/少样本学习的显著性检测方法。
二、显著性与其他视觉任务的关系
显著性不仅是一个独立任务，还能辅助或被融合进其他任务：
| 任务 | 显著性作用 |
|---|---|
| 目标检测 | 通过引导注意力，提高检测精度 |
| 图像分割 | 提供初始分割区域，提高分割效果 |
| 视频摘要 | 选取显著区域来生成关键帧 |
| 图像压缩 | 显著区域保留更高质量 |
| 人机交互 | 模拟人类关注焦点以优化交互设计 |
| 多模态融合 | 在图像与语言任务中通过显著性桥接信息（如 VQA） |
三、显著性类型
- 视觉显著性（Visual Saliency）：以人眼视觉系统为基础（视觉神经科学启发）。
- 任务驱动显著性（Task-driven Saliency）：在特定任务下的关注区域（如开车时注意交通标志）。
- 动态显著性（Video Saliency）：考虑时间信息，如运动引起的显著性变化。
- 语义显著性（Semantic Saliency）：结合高层语义信息，如“人脸”“交通灯”等天然重要区域。
四、应用案例
- 自动驾驶：识别驾驶员关注区域，提升辅助驾驶系统。
- 医疗图像分析：高亮病变区域，辅助诊断。
- 图像生成：在图像修复或编辑时保留显著内容。
- 机器人视觉：显著性引导机器人抓取或导航。
五、相关前沿研究方向
- 显著性与**注意力机制（attention）**结合，提升泛化能力。
- 跨模态显著性建模（如图像+语音、图像+文本）。
- 显著性与大模型结合：如在视觉大模型中嵌入显著性增强模块。
- 面向实际应用的轻量化显著性模型。