UNet改进（21）：门控注意力机制在UNet中的应用与优化

1. 传统UNet架构回顾

UNet采用经典的编码器-解码器结构，包含：

1. 编码器（下采样路径）：通过卷积和池化逐步提取高级特征

2. 解码器（上采样路径）：通过转置卷积恢复空间分辨率

3. 跳跃连接：连接编码器和解码器对应层，保留空间信息

传统UNet的主要局限在于：

• 跳跃连接简单拼接，缺乏对重要特征的筛选

• 对所有空间位置同等对待，无法聚焦关键区域

2. 门控注意力机制原理

门控注意力机制(Gated Attention)的核心思想是通过动态生成的注意力图来加权特征图，使模型能够：

1. 自动学习哪些区域需要更多关注

2. 抑制不相关或噪声区域

3. 增强目标边界的定位能力

2.1 门控注意力数学表达

门控注意力的计算过程可表示为：