LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
🔥 下面我只是分析讲解下这些方法的原理以及具体代码是怎么实现的，不对效果进行评价，毕竟不同任务不同数据集效果差别还是挺大的。
文章目录
- 0、hard prompt & soft prompt区别
- 1、Prefix-Tuning
- 2、Prompt-Tuning
- 3、P-tuning
- 4、P-tuning-v2
- 5、来看看adapter，lora，prefix-tuing&p-tuning-v2的结构上的区别：
0、hard prompt & soft prompt区别
- hard prompt (离散)：即人类写的自然语言式的prompt。
- soft prompt (连续)：可训练的权重，可以理解为伪prompt。【毕竟nn是连续的模型，在连续空间中优化离散的prompt， 难以优化到最佳效果。额也就是说所谓的hard prompt对于人类来说好理解，但模型不一定好理解，所以不妨丢给模型去学习处更好理解的prompt】