Instruct-GPT奖励模型的损失函数与反向传播机制解析

总结：损失函数使用的比较对排序损失 (pairwise ranking loss) ，由于$\sigma$激活函数结果一定在0-1之间，使得对数运算log之后的值一定小于0，然后加上 log 外面的负号一定大于0，因此loss一定大于0，从而在反向传播中一定有损失，通过让 loss 不断下降，从而达到σ函数内部的rw-rl的差值更大(增大rw，减小rl，直到两者差值接近于1，模型收敛)，从而降低损失。从而倾向于人类的倾向。

一、损失函数的数学本质与偏好表达

Instruct-GPT使用的奖励模型损失函数为：
$$\text{loss}(\theta )=-\frac{1}{\left(\genfrac{}{}{0ex}{}{K}{2}\right)}{\mathbb{E}}_{(x,y_w,y_l)\sim D}\left[\log \left(\sigma \left(r_{\theta }(x,y_w)-r_{\theta }(x,y_l)\right)\right)\right]$$

核心构成解析：

1. 输入对定义：$(x,y_w,y_l)$ 表示同一个prompt $x$ 对应的两个响应，其中 $y_w$ 是人类偏好的响应，$y_l$ 是非偏好响应
2. 奖励差值：$r_{\theta }(x,y_w)-r_{\theta }(x,y_l)$ 表示模型对两个响应的奖励值之差
3. sigmoid函数：$\sigma (z)=\frac{1}{1+e^{-z}}$，其性质是：
   • 当 $z>0$ 时，$\sigma (z)>0.5$，且 $z$ 越大，$\sigma (z)$ 越接近1
   • 当 $z<0$ 时，$\sigma (z)<0.5$，且 $z$ 越小，$\sigma (z)$ 越接近0
4. 对数似然：$\log (\sigma (z))$ 用于度量模型预测与人类偏好的一致性，当 $z>0$ 时，该值为正，且 $z$ 越大值越大；当 $z<0$ 时，该值为负

二、损失函数如何驱动偏好排序

假设人类标注了一个偏好关系：$y_w\succ y_l$（即 $y_w$ 比 $y_l$ 更优），损失函数的优化目标是最大化 $\sigma (r_{\theta }(x,y_w)-r_{\theta }(x,y_l))$，这等价于最大化 $r_{\theta }(x,y_w)-r_{\theta }(x,y_l)$。

具体驱动过程：

1. 当模型初始预测 $r_{\theta }(x,y_w)<r_{\theta }(x,y_l)$ 时：
   • 奖励差值为负，$\sigma (z)<0.5$，$\log (\sigma (z))$ 为负
   • 损失函数值为正（因为前面有负号），模型产生"惩罚"
   • 反向传播会调整参数 $\theta$，使 $r_{\theta }(x,y_w)$ 增大或 $r_{\theta }(x,y_l)$ 减小
2. 当模型预测 $r_{\theta }(x,y_w)>r_{\theta }(x,y_l)$ 时：
   • 奖励差值为正，$\sigma (z)>0.5$，$\log (\sigma (z))$ 为正
   • 损失函数值为负，模型产生"奖励"
   • 反向传播会保持或增强这种参数状态

三、多响应排序的批量处理机制

以 $K=4$ 为例，假设标注者对4个响应的排序为 $y_1\succ y_2\succ y_3\succ y_4$，则产生 $\left(\genfrac{}{}{0ex}{}{4}{2}\right)=6$ 个比较对：

• $(y_1,y_2),(y_1,y_3),(y_1,y_4)$
• $(y_2,y_3),(y_2,y_4)$
• $(y_3,y_4)$

批量训练的关键优势：

1. 计算效率：对4个响应仅需4次前向传播，而非6次
2. 相关性利用：同一prompt的响应具有内在相关性，批量处理避免过拟合
3. 联合优化：6个比较对共同约束模型参数，使奖励值满足 $r_1>r_2>r_3>r_4$

四、反向传播的参数更新逻辑

损失函数对参数 $\theta$ 的梯度为：
$${\nabla }_{\theta }\text{loss}(\theta )=-\frac{1}{\left(\genfrac{}{}{0ex}{}{K}{2}\right)}\sum _{(y_w,y_l)}\left(1-\sigma \left(r_{\theta }(x,y_w)-r_{\theta }(x,y_l)\right)\right)\cdot \left({\nabla }_{\theta }{r}_{\theta }(x,y_w)-{\nabla }_{\theta }{r}_{\theta }(x,y_l)\right)$$

梯度方向解析：

• 当 $r_{\theta }(x,y_w)<r_{\theta }(x,y_l)$ 时，$1-\sigma (z)>0.5$，梯度会推动 ${\nabla }_{\theta }{r}_{\theta }(x,y_w)$ 增大或 ${\nabla }_{\theta }{r}_{\theta }(x,y_l)$ 减小
• 当 $r_{\theta }(x,y_w)>r_{\theta }(x,y_l)$ 时，$1-\sigma (z)<0.5$，梯度对参数的调整力度减弱
• 当 $r_{\theta }(x,y_w)\gg r_{\theta }(x,y_l)$ 时，$1-\sigma (z)\approx 0$，梯度接近0，训练收敛

五、从比较对到全序关系的自动推导

虽然标注数据仅提供两两比较对，但损失函数的累加机制会自动推导出全序关系。例如，对于三个响应 $y_a\succ y_b\succ y_c$，包含三个比较对：

1. $(y_a,y_b)$ 驱动 $r_a>r_b$
2. $(y_a,y_c)$ 驱动 $r_a>r_c$
3. $(y_b,y_c)$ 驱动 $r_b>r_c$

这三个约束共同作用，最终会使模型学习到 $r_a>r_b>r_c$ 的全序关系，而无需显式标注完整排序。

六、与传统排序模型的本质区别

传统排序模型可能直接优化排名位置，而Instruct-GPT的奖励模型通过以下机制实现更高效的偏好学习：

1. 基于差值的优化：不关注绝对奖励值，只关注相对大小
2. 批量相关性利用：同一prompt的响应作为整体优化单元
3. 概率化偏好表达：通过sigmoid函数将奖励差值转化为偏好概率
4. 梯度驱动的自动调整：反向传播自然实现"偏好响应奖励提升，非偏好响应奖励降低"

这种机制使得奖励模型能够高效利用人类标注的比较数据，在计算效率和模型性能之间取得平衡，为后续的强化学习阶段提供可靠的价值函数。