【nlp】3.3 Transformer论文复现：2. 编码器部分（掩码张量、多头注意力机制、前馈全连接层）

Transformer论文复现：2. 编码器部分（掩码张量、多头注意力机制、前馈全连接层）

• 2 编码器复现
• • 2.1 编码器介绍
  • 2.2 掩码张量
  • • 2.2.1 掩码张量介绍
    • 2.2.2 掩码张量的作用
    • 2.2.3 生成掩码张量的代码实现
    • 2.2.4 掩码张量的可视化
    • 2.2.5 掩码张量总结
  • 2.3 注意力机制
  • • 2.3.1 注意力计算规则的代码实现
    • 2.3.2 注意力机制总结
  • 2.4 多头注意力机制
  • • 2.4.1 多头注意力机制结构图
    • 2.4.2 多头注意力机制概念
    • 2.4.3 多头注意力机制的作用
    • 2.4.4 多头注意力机制的代码实现
    • 2.4.5 多头注意力机制总结
  • 2.5 前馈全连接层