Home / 强化学习 / DPO：为什么偏好分类可以直接更新语言模型

第 49 天｜DPO：为什么偏好分类可以直接更新语言模型

原论文与版本：Rafailov 等，Direct Preference Optimization: Your Language Model is Secretly a Reward Model，2023。正文。

先接住前作的问题

第47天 InstructGPT把排序数据变成显式奖励模型，再用在线PPO提高奖励并限制参考策略漂移。DPO接住的具体问题是：同一个KL正则偏好目标，能否消去显式奖励参数化，直接更新策略？这是对该类RLHF目标的后续重写，并不继承上一篇DreamerV3的世界模型机制。

五个前置概念

偏好对：同提示下更好与更差的回答。
Bradley–Terry：以奖励差预测二选一偏好。
隐式奖励：由策略参考概率比对应的奖励。
参考KL：约束偏离原行为的程度。
Margin：优选与拒绝回答的相对优势。

一、问题设定：偏好对能否直接训练带参考约束的策略

已有同一提示下的优选与拒绝回答，也有一个固定参考策略。传统流程要先拟合奖励，再采样回答、估计价值、更新策略；本篇问这些偏好标签是否能够直接形成策略损失。

要成立，必须解释奖励与策略概率之间的关系，尤其是同一提示下为何能消掉归一化常数。推导完成后，离线覆盖、偏好模型假设和新回答的质量仍要单独验证，不能从损失形式简化推出通用在线RL都不再需要。

要素	本文设定
研究场景	固定偏好数据、参考策略约束的语言模型对齐
状态／观测	提示x
动作	整段回答y；计算上分解为token
奖励或学习信号	成对优选／拒绝标签，不单独输出显式RM
终止／边界	EOS／长度上限；只对回答token计算概率

二、从KL正则最优策略消去奖励与分区函数

DPO从KL正则奖励最大化的解析解出发。对固定提示x，最优策略满足 $\pi^*(y|x)=\pi_{ref}(y|x)e^{r(x,y)/\beta}/Z(x)$ 。取对数并重排得到 $r(x,y)=\beta\log[\pi^*(y|x)/\pi_{ref}(y|x)]+\beta\log Z(x)$ 。因此策略相对参考的对数比可以表示奖励，另加一个只依赖提示的常数。

把它代入Bradley–Terry成对偏好概率，胜负回答共享x， $\log Z(x)$ 恰好相消，得到下方可直接优化的logistic损失。这里省掉的是显式奖励拟合和在线策略采样环节，不是证明任何离线数据都足以辨认最优策略。解析等价依赖模型与支持等条件，有限数据上的函数逼近训练并不自动等于完整RLHF的实际运行结果。

同提示的分区函数为什么相消

$L=-E\log\sigma\{\beta[\log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)}-\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}]\}.$ β控制偏好与参考约束的对应尺度。原始序列log概率是回答token之和，不擅自除以长度。

序列概率比怎样连接每个token

固定同一提示与各自回答前缀，序列log概率比等于回答token log比之和；提示token不应被算成回答奖励。chosen与rejected的长度、掩码和归约若不同，就会改变margin，不能只核对最终sigmoid。

同一偏好对的间隔与绝对概率

以下是可手算的教学构造，不是论文实验。

固定参考策略对胜负回答各给0.5，新策略给0.8与0.2，β=0.5。参考修正间隔为 $h=\log(0.8/0.2)=\log4$ ，偏好logit为βh=log2，预测胜出概率是2/3，损失为log(3/2)。继续增加间隔会继续减小该单对数据的logistic损失。

如果两个回答的绝对概率从0.20、0.10变成0.15、0.05，胜回答虽然变少，胜负比却从2增至3；固定参考下DPO仍认为该偏好对改善。剩余概率分给其他回答，故这完全可成为合法的多回答分布。

三、累加回答token概率并优化参考校正间隔

实现时需累加回答token的log概率；改成每token平均会改变奖励参数化，而非仅改变学习率。

输入偏好三元组(x,y_win,y_lose)，固定π_ref
初始化待训练πθ
循环抽batch：
  计算胜／负回答的策略log概率和
  计算对应参考log概率（无梯度）
  margin←β*((logp_win-logref_win)-(logp_lose-logref_lose))
  loss←-mean(logsigmoid(margin))
  更新πθ，不更新参考模型
用独立偏好及能力指标评价
输出：对齐策略

四、分开读奖励—KL前沿与摘要胜率

实验要素	原文设定与证据范围
环境与任务	IMDb受控奖励、TL;DR摘要、Anthropic HH对话
数据来源与规模	偏好数据；HH约170k比较
对比基线	PPO、SFT等，模型大小与温度按实验分开
训练预算与资源	无在线RL rollout但需要偏好数据；完整算力未核实
指标及其含义	已知奖励—KL前沿、GPT-4／人类胜率
随机性与不确定性	采样温度和评价人群影响胜率
实际验证的假设	直接偏好目标能否替代特定RLHF流程

图2：相近KL处的奖励与不同温度的胜率

DPO的奖励-KL前沿与TLDR摘要胜率随采样温度变化 — 原论文图形摘引；Rafailov等，2023，Figure 2；原HTML图形。核对原文。原版权保留。

图像许可：上述作者原图按 CC BY 4.0 提供；此处只截取对应图形区域并适配显示尺寸，数据与图形内容未重绘。核对原版许可。

左面板每个点是一组训练设置下的IMDb奖励与参考KL，横轴越右表示偏离参考更多，纵轴越高表示受控情感奖励更高；应比较相近KL处的奖励，而非把全部点按训练先后连起来。右面板横轴改为生成温度，纵轴是摘要相对参考的评价胜率，0.5虚线为打平。DPO与PPO的差距会随温度改变，说明训练目标和解码设置共同决定结果；两张图的横轴、奖励与胜率不能互换。

域外摘要表及人类与PPO的比较补充了图2的证据，但需保留温度、提示分布与反馈来源。离线训练loss下降本身不是这些独立评价的替代物。核对原文。

偏好数据的生成成本不能从训练显存中消失

文本情感、摘要和单轮对话的比较采用各自数据与评价设置。还应单列偏好回答的生成、评分和筛选成本；少了在线PPO步骤，不表示这些离线数据免费。

五、相对间隔改善仍留下离线覆盖与过拟合风险

离线数据不能主动覆盖未见行为。继续扩大可分离偏好对的margin可能过拟合，增大差值也可能靠降低败者概率而非提升胜者；真实偏好冲突未必能化成单一标量排序。

六、三个值得继续追问的问题与参考答案

1. 降低DPO loss是否保证正回答概率上升？

不保证。DPO优化的是相对参考策略的正负回答对数概率差，损失可以通过降低负回答概率更多而下降，即使正回答概率也下降。参数共享和归一化还会影响其他回答。应分别跟踪正/负回答的log-prob、偏好差距、参考KL及独立生成质量；一个越来越大的偏好margin不是正回答绝对概率必升的证据。

2. 偏好数据可分离时为什么可能过拟合？

在完全可分离的经验偏好对上，逻辑损失可能通过持续扩大对数概率差继续下降，缺少有限最优margin；有限数据中的噪声、覆盖缺口和参数共享会被放大。参考策略提供损失中的相对坐标，不自动等于一个始终受控的实际KL上限。应监测独立偏好泛化、KL和生成退化，采用早停或有界margin等方案时明确目标已改变。

3. 与在线PPO比较应如何计算数据收集成本？

离线DPO的偏好对也有收集和标注成本；在线PPO还涉及当前策略生成、RM调用、Critic训练及迭代标注或更新。比较应分别列预训练/SFT公共起点、离线反馈、在线生成token、奖励评估与训练算力，并在相同偏好信息或总资源预算下作对照。只比较一次优化阶段GPU时间会漏掉数据准备与策略更新机会。

七、沿未解决的问题继续读

IPO：经验偏好一致时，logistic目标为何仍鼓励间隔无限增长？IPO保留参考对数比坐标，改从有界偏好目标导出有限margin。（后作直接问题承接）
KTO：如果每个提示只有一个好坏标签，成对DPO目标如何使用它？KTO改造反馈单位与效用函数，是共享参考比思想的后续平行路线。（后续平行路线）

原文核对与路线出处

原论文与图表入口。§4解析最优策略、分区函数消去、偏好损失与实验设置。
本篇承接：InstructGPT。本篇重写其代表的KL正则RLHF问题，改变优化接口。
后作承接本篇：IPO。后作IPO针对确定性经验偏好下间隔无限增长的风险提出有限目标。
并行路线：KTO。KTO改变反馈形态，允许单回答的好坏标签；不是给DPO换一个别名。
教学阅读：DPO Trainer。仅借用本节的解释顺序与接口视角；具体算法、版本和实验以本篇原论文为准。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：为什么 DPO 可以不显式训练奖励模型？

参考答案：带 KL 正则的最优策略与奖励存在解析关系。把奖励写成策略相对参考策略的对数比，再代入偏好概率模型，同一提示下的归一化项会抵消，得到直接作用于优选与拒绝回答的策略损失。

问题 2：省掉奖励模型，是否就摆脱了奖励假设与数据偏差？

参考答案：没有。偏好模型、参考策略和数据覆盖仍决定学习内容。DPO 可以更直接地利用偏好，但不能自动发现数据外的好行为，也不能保证偏好等于真实性或任务成功。它不是对所有在线 RL 问题的通用替代。