Home / 强化学习 / IPO：偏好胜负差距，是否应该被无限拉大

第 50 天｜IPO：偏好胜负差距，是否应该被无限拉大

原论文与版本：A General Theoretical Paradigm to Understand Learning from Human Preferences，2023。原论文。

先接住前作的问题

第49天 DPO消去了显式奖励模型，但可分离经验偏好仍可能不断扩大胜负间隔。存在参考策略和系数，为什么没有自动留下有限最优间隔？IPO直接审查这一目标问题，沿用参考概率比却改变偏好映射。第46天 IQL也使用回归，只构成教学上的比较：它拟合环境价值，并非本篇的算法前身。

五个前置概念

人口目标：在真实分布上定义的理想期望。
经验目标：有限样本上的训练损失。
Margin回归：把相对分数拟合到有限目标。
偏好概率：不同评价者或采样下被选中的可能性。
正则强度：控制偏离参考策略的尺度。

一、问题设定：经验偏好全胜时为什么还要限制间隔

有限数据中，一个回答可能在所有已见比较里都获胜，真实人群的偏好却未必确定。若把经验胜率1直接送入logit，目标就要求无穷大的奖励间隔；继续降低经验损失可能只是在强化有限标签。

本篇先问不同偏好映射怎样改变总体目标，再研究能否将策略对数比回归到有限值。重点是正则行为与构造反例，不能把理论目标的变化直接写成所有语言模型任务都获得更高分。

要素	本文设定
研究场景	离线成对偏好、参考约束的直接策略优化
状态／观测	提示上下文
动作	候选整段回答
奖励或学习信号	二元偏好比较
终止／边界	回答结束；不是环境多步自举

二、从ΨPO的有界偏好目标走到有限margin回归

IPO先提出更一般的ΨPO：最大化策略回答相对数据策略μ的偏好概率经Ψ变换后的期望，再付出相对参考策略的KL代价。取Ψ为logit，在Bradley–Terry假设下可联系到RLHF/DPO；取Ψ为恒等函数，则直接优化有界的胜率信号。这一出发点比“把DPO交叉熵换成MSE”更重要。

IPO推导出参考修正的策略对数比h，并通过期望等价得到对已排序样本的平方损失，目标间隔为 $1/(2\tau)$ 。

有限目标间隔与正则参数的对应

$h_\theta=\log\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)},\quad L_{IPO}=E[(h_\theta-\frac1{2\tau})^2].$ τ对应原文正则参数；不同库符号β可能不同，不能只按名字拷贝。此处为原理论序列概率形式。

平方间隔目标会在超过目标后反向拉回

把目标间隔记为m，单对损失 $(h-m)^2$ 对h的导数为 $2(h-m)$ ：h小于m时增大它，超过m时则压回。这个双向拉回与单调奖励更大margin的目标不同，但不修复偏好标签本身。

越过h=1之后两种损失走向不同

以下是可手算的教学构造，不是论文实验。

设τ=0.5，目标h*=1，参考胜负概率相同。只含两个回答时，h=1对应胜方概率 $e/(1+e)\approx0.731$ ，并非必须逼近1。

当h从0升到1，IPO损失从1降到0；若过冲到2，损失又回到1，导数2(h−1)=2要求减小h。相比之下，取DPO β=0.5，h=1与2的单对损失分别约0.474、0.313，仍鼓励更大间隔。这是目标形状比较，不是两个真实训练系统优劣的实验。

三、计算参考对数比并对过大的间隔施加回拉

固定参考策略
从成对偏好数据抽batch
计算每个回答的新旧序列log比
h←优选log比-拒绝log比
target←1/(2τ)
最小化mean((h-target)^2)
对超过target的margin同样产生回拉
在独立偏好数据与真实任务上评估
输出：有限margin对齐策略

四、读三动作概率曲线：正则是否保住未比较的动作

实验要素	原文设定与证据范围
环境与任务	论文理论设定与构造偏好实验
数据来源与规模	有限偏好采样
对比基线	DPO及相关偏好目标
训练预算与资源	本文未核实全部实验预算，大规模 LLM 训练的证据尚未核实
指标及其含义	偏好目标、KL与过拟合行为
随机性与不确定性	理论期望和实验重复分开
实际验证的假设	不同偏好映射如何影响最优解与正则化

图2：未进入偏好比较的第三动作去哪了

原引用定位：原文。

IPO与DPO在数据集D3和三个正则强度下的三动作概率学习曲线 — 原论文图形摘引；Azar等，2023/2024，Figure 2；原HTML图形。核对原文。原版权保留。

图1和图2在构造数据集上追踪动作概率随学习的变化，对比IPO与DPO的正则行为。图2左列DPO在三个参数设置都把未出现在偏好比较中的第三动作概率推近零；右列IPO在更强正则下保留其概率，蓝橙两条则共享其余质量。横轴是优化步、纵轴是动作概率；这类可控反例支撑机制区别，不建立所有大模型任务的性能排名。长度归一化、噪声与正则系数仍需按实际实现检验。查看原文。

原论文Figure 1：左列DPO、右列IPO；三行τ分别为0.1、0.5、1.0。纵轴是三种动作的概率，不是模型胜率；比较的是指定偏好数据构造下是否走向过度确定化。 — 完整原图摘引｜Azar等，2023/2024，Figure 1；2310.12036v2，HTML S5.F1。核对原文与图号。CC BY-NC-SA 4.0；图形仅缩放／重新排版，沿用原许可。原引用定位：原文。

读图提示：左列DPO、右列IPO；三行τ分别为0.1、0.5、1.0。纵轴是三种动作的概率，不是模型胜率；比较的是指定偏好数据构造下是否走向过度确定化。

构造反例不能替代大规模泛化证据

§4.2的确定性经验偏好反例否定了“存在显式KL系数就必然控制经验最优间隔”。实际训练的提前停止、噪声标签与奖励模型正则也会改变表现，因此不能把这个构造当成DPO在所有数据上失败的结论。

五、有限目标能控制什么，不能修复什么

有限间隔控制针对论文的偏好抽样、支持与总体目标，不是任意神经网络的泛化保证。τ、错误偏好、缺失覆盖和优化仍会改变结果；这里τ是KL正则系数，不是IQL的expectile参数。若实现另做长度归一化，就已改变理论公式，必须标明版本。

六、三个值得继续追问的问题与参考答案

1. 偏好噪声增加时目标margin应怎样选择？

没有仅由噪声率决定的通用margin。IPO的目标间隔由正则系数决定，噪声增大时更激进的间隔可能拟合错误标签，通常需要更强正则或更保守选择，但应在独立重复标注和验证集上校准。需分开随机翻转、标注者异质性和系统偏差，检查偏好准确率、KL及生成质量，而不能从训练平方误差下降断定选择正确。

2. 理论序列log概率与库的长度归一化有何差异？

理论序列log概率是各token条件log概率之和；除以长度后变成平均token log概率，改变了不同长度回答的相对权重和偏好margin，不再是原推导中的同一个概率比。若库默认长度归一化，应明确记下公式、掩码与EOS处理，并做和式/均值式对照。不能因两种实现都叫IPO，就认为理论目标完全相同。

3. 有限margin是否真的改善独立测试而非只降低KL？

需要在未用于选参数的偏好对和自由生成任务上验证，同时在相近KL或相同计算预算下比较DPO。有限margin直接限制经验目标继续把正负概率拉开，但更小KL本身既可能减少过拟合，也可能只是欠拟合。报告偏好泛化、客观正确率、长度与人工评价的曲线，才能判断正则是否转成真实收益；构造实验不能替代所有LLM任务证据。

七、沿未解决的问题继续读

KTO：若问题不在margin形状而在反馈根本没有配对，怎样定义训练目标？KTO围绕单回答的好坏标签与参考点构造效用，和IPO是不同设计轴。（后续平行路线）
DPO：有限目标是否真正改善泛化，而非只降低KL？回到DPO作为受控对照，匹配KL、数据和解码预算后再比较。这是检验前作问题的实验路线，不是历史后继。（前作机制对照）

原文核对与路线出处

原论文与图表入口。§4 ΨPO与确定性偏好反例、§5有限间隔及支持条件。
本篇承接：DPO。本篇沿用参考对数比参数化，同时改变偏好目标的变换。
教学对应：IQL。二者都有回归损失，但IQL拟合环境价值，IPO拟合偏好诱导的策略间隔，不存在算法继承关系。

自测两题

第一题考查核心机制，第二题考查边界与辨析。建议先自行作答，再对照参考答案。以下数值小例子均为教学构造。

问题 1：IPO 为什么设置有限的偏好差距目标？

参考答案：在可分离偏好数据上，分类式目标可能持续推动胜者与败者的相对对数概率差扩大。IPO 让这个差距 $h$ 接近有限目标，例如：

$L=\mathbb E[(h-1/(2\tau))^2]$

超过目标也会受罚，从而避免把无限拉大差距当成唯一方向。

问题 2：有有限目标差距，是否就不会过拟合？

参考答案：不会无限扩大某种差距，并不等于不会记忆错误标签或拟合数据噪声。正则尺度、数据量、模型容量和偏好冲突仍然重要。IPO 处理特定目标结构的问题，而不是消除所有泛化风险。