当前位置: 首页 > news >正文

人工智能论文通用创新点(一)——ACMIX 卷积与注意力融合、GCnet(全局特征融合)、Coordinate_attention、SPD(可替换下采样)

1.ACMIX 卷积与注意力融合

论文地址:https://arxiv.org/pdf/2111.14556.pdf

        为了实现卷积与注意力的融合,我们让特征图经过两个路径,一个路径经过卷积,另外一个路径经过Transformer,但是,现在有一个问题,卷积路径比较快,Transformer比较慢。因此,我们让Q,K,V通过1*1的卷积得到,同时使用窗口注意力,同时将3*3的卷积分解为1*1的卷积,从而共享参数。

        

        如下图所示,对于卷积,stage1用1*1的卷积代替3*3的卷积,得到不同位置的特征,stage2再利用类卷积操作进行偏移,实现3*3卷积的效果;对于自注意力机制,首先使用1^1的卷积得到q,k,v,然后再进行自注意力计算。然后进行组合,共享1*1的卷积,然后分别走卷积和自注意力。 

代码详解:

 难点:窗口注意力的实现

        我们在上文提到,自注意了机制是按照窗口进行计算的,具体

http://www.lryc.cn/news/160740.html

相关文章:

  • 您的计算机已被[new_day@torguard.tg].faust 勒索病毒感染?恢复您的数据的方法在这里!
  • 18--Elasticsearch
  • 代码随想录算法训练营 day59|503.下一个更大元素II、42. 接雨水
  • MyBatis数据库操作
  • python flask框架 debug功能
  • 《深入浅出OCR》第六章:OCR数据集与评价指标
  • 15. 线性代数 - 克拉默法则
  • 【LeetCode】剑指 Offer <二刷>(6)
  • jsp页面出现“String cannot be resolved to a type”错误解决办法
  • 【go-zero】使用自带Redis方法
  • 离线数仓同步数据3
  • Prometheus+Grafana 搭建应用监控系统
  • Spring Boot整合Log4j2.xml的问题
  • 代码随想录算法训练营第五十八天 | 739. 每日温度,496.下一个更大元素 I
  • 【动手学深度学习】--文本预处理
  • 2023年最佳研发管理平台评选:哪家表现出色?
  • 轻量容器引擎Docker基础使用
  • questions
  • MojoTween:使用「Burst、Jobs、Collections、Mathematics」优化实现的Unity顶级「Tween动画引擎」
  • Vue3响应式源码实现
  • 【RapidAI】P1 中文文本切割程序
  • 4、QT中的网络编程
  • 单例模式(饿汉式单例 VS 懒汉式单例)
  • Oracle数据库连接之TNS-12541异常
  • sql中的排序函数dense_rank(),RANK()和row_number()
  • Flask狼书笔记 | 05_数据库
  • HJ70 矩阵乘法计算量估算
  • Doris数据库使用记录
  • 华为OD机试真题【篮球比赛】
  • sublime text 格式化json快捷键配置