【大模型微调】一些观点的总结和记录

垂直领域大部分不用保持通用能力的，没必要跟淘宝客服聊天气预报，但是主要还是领导让你保持

微调方法没有大变数了，只能在数据上下功夫，我能想到的只有提高微调数据质量。

sft微调的越多，遗忘的越多. 不过对于小任务，rank比较低（例如8，16）的任务，影响还是有有限的。一般很少掉点明显。

sft能够改变回复风格。原来的风格是列表回复，如果sft数据集很短，则sft后的数据集也会很短，理论上二者的风格应该一致才行

在LLM时代，需要牢记 数据质量 > 数量 这个真理，如：[Less is More! 上交清源 && 里海 | 利用200条数据微调模型，怒超MiniGPT-4！]，超大规模的SFT数据会让下游任务LLM减弱或者失去ICL、CoT等能力

全流程的LLM训练包括：预训练、监督微调、奖励模型、强化学习，多数情况下监督微调即可满足自身需求。

对于垂类模型，更应该关注PT的过程，而不是采集千万百万的SFT数据做训练，一般建议是 大规模预训练+小规模监督微调=超强的LLM模型

指令微调阶段不能够进行过多轮次训练：