知识积累（三）：深度学习相关概念（查看检索时看到）
文章目录
- 1. 知识蒸馏
- 2. 可微搜索索引（DSI）
- 参考资料
在找论文时，发现的相关概念。
1. 知识蒸馏
知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面，这个大模型我们称之为teacher（教师模型），小模型我们称之为Student（学生模型）。来自Teacher模型输出的监督信息称之为knowledge(知识)，而student学习迁移来自teacher的监督信息的过程称之为Distillation(蒸馏)。
2. 可微搜索索引（DSI）
DSI主要有两个部分，分别是
（1）索引（Indexing）—给定文件，输出文件的docid
（2）检索（Retrieval）—根据给定的查询x，输出docid整体流程如下
query -》docid 《- documents
查询到docid称为检索，documents到docid称为索引
参考资料
【1】知识蒸馏：https://zhuanlan.zhihu.com/p/258390817
【2】DSI：https://zhuanlan.zhihu.com/p/665924073