【nlp】3.1 Transformer背景介绍及架构
Transformer背景介绍
- 1 Transformer的诞生
- 2 Transformer的优势
- 3 Transformer的市场
- 4 Transformer架构
- 4.1 Transformer模型的作用
- 4.2 Transformer总体架构图
- 4.2.1 输入部分
- 4.2.2 输出部分包含
- 4.2.3 编码器部分
- 4.2.4 解码器部分
1 Transformer的诞生
2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!
论文地址: https://arxiv.org/pdf/1810.04805.pdf
而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现X