【TGRS 2025】新型：残差Haar离散小波变换下采样，即插即用！
一、论文信息
论文题目：ASCNet: Asymmetric Sampling Correction Network for Infrared Image Destriping
中文题目：ASCNet：用于红外图像条带校正的非对称采样校正网络
论文链接：https://ieeexplore.ieee.org/document/10855453
官方github：https://github.com/xdFai/ASCNet/tree/main
所属机构：西安电子科技大学光电工程学院等
核心速览：本文介绍了一种名为非对称采样校正网络（ASCNet）的红外图像条纹去除方法，该方法能够有效捕获全局列关系并嵌入到U型框架中，提供全面的判别性表示和无缝的语义连接。
二、论文概要
Highlight
图0. 去条纹效果对比。
图10. 三组真实世界红外条纹图像的去条纹结果。放大视图以检查细节。
1. 研究背景:
研究问题：在现实世界的红外（IR）成像系统中，有效地学习一致的条纹噪声去除模型至关重要。由于交叉层次的语义差距和全局列特征的表征不足，大多数现有的去条纹方法无法精确重建图像。
研究难点：条纹噪声垂直破坏图像结构，主要降低图像的水平梯度。由于条纹噪声的动态场景和复杂性，现有的单图像去条纹技术难以精确分离条纹噪声和垂直背景细节。此外，逆离散小波变换（IDWT）在重建图像时会破坏特征的列语义连通性，造成交叉层次的列语义差距。
文献综述：早期方法采用手工特征，如滤波器、数据统计和优化技术来区分背景和条纹成分。随着卷积神经网络（CNNs）的出现，基于学习的方法在复杂场景中展示了更具有前景的去条纹结果。一些方法还探索了噪声响应特性来预测条纹分布，并取得了可接受的结果。由于条纹噪声垂直破坏图像结构，2-D离散小波变换（DWT）在图像去条纹任务中受到了广泛关注。
2. 本文贡献:
非对称采样校正网络（ASCNet）：提出了一种用于红外图像条纹去除的新方法，称为非对称采样校正网络（ASCNet）。该方法能够有效捕捉全局列关系，并将其嵌入到U形框架中，提供全面的判别表示和无缝的语义连通性。ASCNet由三个核心元素组成：残差Haar离散小波变换（RHDWT）、像素重排（PS）和列非均匀性校正模块（CNCM）。
残差Haar离散小波变换（RHDWT）下采样：RHDWT是一种新颖的下采样器，采用双分支建模有效整合条纹方向先验知识和数据驱动的语义交互，以丰富特征表示。
像素重排（PS）：PS被引入以防止过度的先验解码，并进行无语义偏差的图像重建。
列非均匀性校正模块（CNCM）：CNCM在长距离依赖中捕获列关系，通过结合列、空间和自依赖信息，建立全局上下文以区分条纹和场景的垂直结构。
三、创新方法
图3. 提出的ASCNet概述。ASCNet的三个核心模块是：(a) PS用于实现无语义偏差的图像重建，(b) RHDWT丰富了结构和语义特征表示，以及(c) CNCM嵌套了RCSSC块以增强列特征、空间信息和长距离依赖性。
图3b. 残差Haar离散小波变换（RHDWT）下采样：RHDWT是一种新颖的下采样器，采用双分支建模有效整合条纹方向先验知识和数据驱动的语义交互，以丰富特征表示。
RHDWT通过整合模型驱动分支和残差分支，解决了独立采样器在语义和结构信息上可能产生的损失问题，实现过程：
1. 输入特征分解：首先，将输入特征Ii通过高通小波变换（HDWT）分解为四个子带，并将这些子带进行拼接。
2. 模型驱动分支：接着，使用3×3卷积和LeakyReLU激活函数对拼接后的子带进行处理，以获得模型驱动分支的输出Ioutmodel。
3. 残差分支：在残差分支中，使用步长为2的3×3卷积来聚合空间和语义特征，得到输出Iorts。
4. 结果合并：最后，将模型驱动分支和残差分支的输出相加，得到最终结果IR。
RHDWT的实现过程强调了在特征编码阶段对信息的深入提取和增强，同时通过残差连接保持了信息的完整性，从而在图像处理中实现更准确的特征映射和噪声去除。
四、实验分析
1. 实验设计
数据集：实验使用了三个红外图像数据集，包括ICSRN、INFRARED和CVC09，涵盖了不同类型的条纹噪声。
噪声设置：使用了高斯分布、均匀分布和周期分布的条纹噪声，以及混合噪声（随机噪声+条纹噪声）进行模型鲁棒性评估。
定量指标：采用峰值信噪比（PSNR）和结构相似性指数测量（SSIM）来评估条纹去除性能。
实现细节：ASCNet的基本宽度设置为32，三个RHDWT中的通道扩展因子η分别设置为2、2和1。使用Adam优化器，初始学习率为0.001，并通过余弦退火策略逐渐降低至1×10−6。
2. 实验结果
模拟图像条纹去除：在模拟图像条纹去除实验中，ASCNet在所有类型的条纹噪声上均取得了最佳的PSNR和SSIM值，证明了其在视觉和定量上的优越性。
真实图像条纹去除：在真实图像条纹去除实验中，ASCNet同样展示了优越的性能，特别是在处理具有丰富和多样条纹噪声模式的图像时。
消融研究：消融研究进一步验证了ASCNet中各个模块的有效性，包括PS和RHDWT对于条纹噪声的列调制效果。
超参数分析：通过改变ASCNet的通道扩展因子η和模型的基本宽度W，分析了模型效率和性能之间的关系。
五、代码与运行演示
1. 不设置通道扩展，仅缩减特征图大小：
① 32*256*256——>32*128*128:
② 64*128*128——>64*64*64:
③ 128*64*64——>128*32*32:
2. 设置通道扩展为2，并缩减特征图大小：
① 32*256*256——>64*128*128:
② 64*128*128——>128*64*64:
③ 128*64*64——>256*32*32:
https://github.com/AIFengheshu/Plug-play-modules
2025年全网最全即插即用模块，免费分享！包含人工智能全领域（机器学习、深度学习等），适用于图像分类、目标检测、实例分割、语义分割、全景分割、姿态识别、医学图像分割、视频目标分割、图像抠图、图像编辑、单目标跟踪、多目标跟踪、行人重识别、RGBT、图像去噪、去雨、去雾、去阴影、去模糊、超分辨率、去反光、去摩尔纹、图像恢复、图像修复、高光谱图像恢复、图像融合、图像上色、高动态范围成像、视频与图像压缩、3D点云、3D目标检测、3D语义分割、3D姿态识别等各类计算机视觉和图像处理任务，以及自然语言处理、大语言模型、多模态等其他各类人工智能相关任务。持续更新中.....