大模型微调概览
文章目录
- 微调 和 高效微调
- 高效微调技术方法概述
- 高效微调方法一：LoRA
- 高效微调方法二: Prefix Tuning
- 高效微调方法三: Prompt Tuning
- 高效微调方法四: P-Tuning v2
- 基于强化学习的进阶微调方法
- RLHF 训练流程
微调 和 高效微调
- 微调，Fine-Tuning， 一般指全参数的微调(全量微调)，指是 一类较早诞生的微调方法，全参数微调需要消耗大量的算力，实际使用起来并不方便，因此不久之后又诞生了只围绕部分参数进行微调的高效微调方法;
- 高效微调，State-of-the -art Parameter- Efficient Fine-Tuning (SOTA PEFT),特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法;
- 除此之外，Fine-Tuning也可 以代指全部微调方法，同时OpenAI中模型微调API的名称也是 Fine-Tuning
需要注意的是，OpenAl提供的在线微调方法也是一种高效微调方法，并不是全量微调;