GRIT论文阅读笔记
- 一篇试图统一生成任务和编码任务的工作，就是把只能完成生成任务的GPT改成既能生成又能encode。
- 思路其实很简单，就是在输入的时候添加instruction tokens来指引模型做representation还是generation，然后各自算损失。representation任务用的是document和query的对比学习。把最后一层的token给mean pooling（只对word tokens做，不对instruction做）出一个embedding算对比损失，做generation的时候就按generation的流程来，思路很简单没什么特别的。
- 另一点细节是representation的时候是没有mask的，generation的时候才做mask
