05 神经网络语言模型(独热编码+词向量的起源)
博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看
配套 github 链接:https://github.com/nickchen121/Pre-training-language-model
配套博客链接:https://www.cnblogs.com/nickchen121/p/15105048.html
统计语言模型
统计+语言模型–》用统计的方法去完成以下两个和人说的话相关的任务
语言模型 = 语言(人说的话) + 模型(去完成两个任务)
- 比较,“词性”,“磁性”
- 预测下一个单词(填空)
n 元语言模型
取 a(2,3,4) 个词
神经网络语言模型
神经网络+语言模型