当前位置: 首页 > news >正文

自注意力机制

当输入一系列向量,想要考虑其中一个向量与其他向量之间的关系,决定这个向量最后的输出

任意两个向量之间的关系计算

计算其他向量对a1的关联性

多头注意力机制

图像也可以看成一系列的向量,交给自注意力机制处理,CNN是特殊的自注意力机制。

RNN跟自注意力机制也有关。

seq2seq model

multi-class classification 从多个类中选择一个类

multi-lable classification 一个物体可能属于多个类

FC:fully connect

transformer encoder 架构

最初的编码模型:

变形:

解码:需要自己决定输出的长度

解码器会将自己在前一个阶段的输出当作输入。

编码器和解码器之间的差距:

masked的区别在于,对于目标向量,只考虑其左边的,因为解码器是一个一个输出的,在没有前面数据的时候,后边数据不可能出现。

自回归编码和非自回归编码(AT/NAT)

编码器和解码器之间的连接:

训练的时候:teacher forcing:用真实数据作为输入,为了防止解码器在测试阶段,容错率低,可以在真实数据中加入一点错误。

http://www.lryc.cn/news/480791.html

相关文章:

  • 抽象工厂模式详解
  • 【Linux】软硬链接和动静态库
  • HarmonyOS入门 : 获取网络数据,并渲染到界面上
  • 【贪心】【哈希】个人练习-Leetcode-1296. Divide Array in Sets of K Consecutive Numbers
  • 【数据库实验一】数据库及数据库中表的建立实验
  • Web服务nginx基本实验
  • Ubuntu实现双击图标运行自己的应用软件
  • js id字符串转数组
  • 《手写Spring渐进式源码实践》实践笔记(第十八章 JDBC功能整合)
  • 边缘计算在智能交通系统中的应用
  • HTML5+css3(浮动,浮动的相关属性,float,解决浮动的塌陷问题,clear,overflow,给父亲盒子加高度,伪元素)
  • 【C++ 滑动窗口】2134. 最少交换次数来组合所有的 1 II
  • 使用 PyTorch 实现并测试 AlexNet 模型,并使用 TensorRT 进行推理加速
  • Python 数据可视化详解教程
  • springboot集成opencv开源计算机视觉库
  • CCF ChinaOSC |「开源科学计算与系统建模openSCS专题分论坛」11月9日与您相约深圳
  • 2024年11月8日上海帆软用户大会
  • 信息泄露漏洞一文速通
  • Android 启动时应用的安装解析过程《二》
  • 智谱AI:ChatGLM强大的生成式语言模型
  • git tag
  • Golang--反射
  • ABAP:SET CURSOR FIELD设置鼠标焦点
  • 【专题】2024年全球生物医药交易报告汇总PDF洞察(附原数据表)
  • LabVIEW气体检测系统
  • LeetCode78. 子集(2024秋季每日一题 58)
  • 推荐一款功能强大的视频修复软件:Apeaksoft Video Fixer
  • Golang--网络编程
  • 区块链技术在数字版权管理中的应用
  • WPS单元格重复值提示设置