多模态基础--- word Embedding
1 word Embedding
原始的单词编码方式：
one-hot，维度太大，不同单词之间相互独立，没有远近关系区分。
wordclass，将同一类单词编码在一起，此时丢失了类别和类别间的相关信息，比如class1和class3都属于生物
word Embedding编码方式：
将每个word映射到高维向量上
1.1 word Embedding方式
word Embedding主要有两种方法：
count based：
通过阅读大量的文章，比较不同的词汇后面跟随的内容一致性判断该两个词汇的相关性。
例：乔丹在NBA打球《===》科比在NBA打球
prediction based：
如下图，输入为Wi-1这个单词，通过神经网络，输出为不同的词汇中下个单词为Wi的概率。
取第一个隐藏层 Z作为word的编码
由于只依靠前一个单词预测后面的单词，这很困难，因此可以选择前面的多个单词来预测后面的单词。
我们将输入的单词Xi-2和Xi-1
