轻量自高斯注意力机制LSGAttention模型详解及代码复现

模型背景

近年来，卷积神经网络(CNN)在高光谱图像分类领域取得了显著进展。然而，CNN面临 长距离关系建模 和 计算成本 增加的挑战。为解决这些问题，研究人员提出了基于 轻量自高斯注意(Light Self-Gaussian-Attention, LSGA) 机制的视觉转换器(Vision Transformer, VIT)，旨在有效提取全局深度语义特征。这种创新方法结合了Transformer的强大全局建模能力和轻量级设计，为高光谱图像分析提供了新的解决方案。

核心思想

在探讨LSGAttention模型的核心思想之前，我们需要回顾一下传统自注意力机制面临的挑战。虽然自注意力机制在捕获长距离依赖关系方面表现出色，但它在计算复杂度和内存消耗方面存在显著缺陷。为了解决这些问题，LSGAttention模型引入了一种创新的方法，巧妙地平衡了全局建模能力和计算效率。

LSGAttention模型的核心思想体现在以下几个方面：

1. 轻量自高斯注意力(Light Self-Gaussian-Attention, LSGA)机制 。这种方法通过整合高斯位置信息和轻量自注意力(Light Self-Attention, LSA)机制，实现了高效的全局特征提取。具体而言，LSGA模块设计用