大模型知识学习

大模型训练过程

数据清洗

• 拟人化描述：知识库整理

预训练

• 拟人化描述：知识学习
• 可以使用基于BERT预训练模型进行训练

指令微调

• 拟人化描述：实际工作技能学习
• 实际操作：让大模型模仿具体的输入输出进行拟合，即模仿学习

强化学习

• 拟人化描述：价值观学习
• 实际操作：通过奖励算法（RLHF）来实现价值观对齐

大模型拓展

为什么要拓展

大模型与小模型共同使用相同的神经网络模型结构与预训练方法，大模型展现出来的各种能力的指数级增长，其最大的原因就是因为参数规模拓展导致的，所以要探索如何做好规模拓展

拓展方式1：KM拓展法则

• 法则介绍：该法则描述了模型规模、数据规模、算力之间的关系，根据关系，可以进行资源的调整，以达到效率最优的模型训练效果