Post-train 入门（1）：SFT / DPO / Online RL 概念理解和分类
Post-train 的分类
- SFT
- DPO
- online RL
以下是后训练（Post-train）中三种主流方法的对比表格，涵盖核心定义、优化目标、数据需求、优缺点及典型应用场景：
| 分类 | 核心定义 | 优化目标 | 数据需求 | 优点 | 缺点 | 典型应用场景 |
|---|---|---|---|---|---|---|
| SFT（监督微调） | 在预训练模型基础上，使用人工标注的高质量指令-响应对数据进行微调，让模型学习特定任务的输出格式和知识。 | 最小化模型输出与标注数据的交叉熵损失，使模型生成符合人类预期的“标准答案”。 | 依赖高质量的人工标注数据（如指令-响应对），数据规模通常较小（数万至数十万样本）。 | 1. 训练简单稳定，易实现； 2. 能快速对齐基础任务格式； 3. 对计算资源要求较低。 | 1. 难以捕捉复杂的人类偏好（如安全性、相关性）； 2. 泛化能力有限，对未见过的指令可能生成错误结果。 | 基础对话系统、特定任务指令对齐（如翻译、摘要）、模型快速适配新领域。 |
| DPO（直接偏好优化） | 跳过显式奖励模型训练，直接通过人类偏好数据（如“更好/更差”的样本对）优化策略，将偏好建模嵌入模型损失函数。 | 最大化模型生成“偏好样本”的概率，同时通过KL约束保持与参考模型（如SFT模型）的分布接近。 | 需要人类标注的偏好对数据（如(x,y好,y差)(x, y_{\text{好}}, y_{\text{差}})(x,y好,y差)），数据规模中等。 | 1. 省去奖励模型训练，简化流程； 2. 训练稳定性优于传统RLHF； 3. 对域内任务拟合效果好。 | 1. 依赖高质量偏好标注，标注成本高； 2. 域外泛化能力较弱； 3. 难以处理复杂奖励信号。 | 对齐人类偏好的对话模型（如ChatGPT后期优化）、内容生成质量提升（如文本、图像）。 |
| Online RL（在线强化学习） | 模型在与环境交互中实时生成样本，基于实时反馈（奖励）动态更新策略，无需依赖预收集的静态数据集。 | 最大化累积奖励，通过探索不同生成路径找到最优策略，同时平衡“探索”与“利用”。 | 无需预收集数据，依赖实时奖励信号（可来自benchmark、人类反馈或其他评估器）。 | 1. 能适应动态环境和复杂奖励； 2. 域外泛化能力强； 3. 可持续优化策略。 | 1. 训练复杂，需设计高效探索机制； 2. 计算成本高（实时生成与反馈）； 3. 可能存在奖励黑客风险。 | 动态任务优化（如文本到图像生成的细节控制）、需要推理能力的任务（如数学解题、代码生成）。 |
关键区别总结：
- 数据依赖：SFT和DPO依赖静态标注数据，Online RL依赖实时反馈；
- 优化粒度：SFT关注“正确输出”，DPO关注“相对偏好”，Online RL关注“全局最优策略”；
- 适用阶段：SFT通常作为后训练的基础步骤，DPO和Online RL用于进一步优化偏好对齐和复杂任务能力。
Alignment in Diffusion 的分类
- 这里是 DPO, Online RL for diffusion 的分类，不包括 SFT。
上图来源于 https://github.com/xie-lab-ml/awesome-alignment-of-diffusion-models