Transfomer的各层矩阵

一、输入

输入一句话：Hello CYZLAB the inspired world

每个单词为一个token

二、Embedding

这里的词向量维度为6，矩阵的行数为token数，列数是词向量的维度

这列是注释不算
hello	1	2	2	6	9	4
CYZLAB	2	2	2	3	7	2
the	2	2	2	5	9	6
inspired	1	3	2	4	4	0
world	4	3	1	2	7	3

token数X词向量维度

三、位置嵌入

与Embedding相同

四、Q、K、V

 Q、K、V的权重：权重权重的行数要与词向量的维度相同，列数任意

如果：权重的权重的尺寸为：词向量的维度X7

Q、K、V的尺寸：token数X7（上面我们自定义的列数）

五、自注意力机制

• 每个词之间的关系（Q*K^T）：token数X token数

• 关系与V的加权和（Q*K^T）*V：token数X7

六、添加线性层

让自注意机制的结果与Embedding的联合的矩阵可以按位相加 

线性层的权重尺寸：7X词向量的维度

线性层的转换结果：token数X词向量维度 

 七、add和归一化

尺寸：token数X词向量维度 

此后的尺寸都是这样的：token数X词向量维度