Home / 大语言模型 / TruthfulQA：学会模仿人类，不等于学会避免错误

049 · TruthfulQA：学会模仿人类，不等于学会避免错误

论文：Stephanie Lin、Jacob Hilton、Owain Evans，TruthfulQA: Measuring How Models Mimic Human Falsehoods，2021年公开，ACL 2022。原始论文 · 官方基准。

先接住前作的问题

MMLU测知识选择题，本篇补测另一类失败：模型可能知道文本中最常见的回答，却复述了错误前提。它是互补评估路线，未引入新训练算法；InstructGPT的人类偏好也不能直接替代真实性轴。

五个前置概念

五个前置概念：模仿学习目标拟合文本出现概率；模仿性错误来自学到错误但常见的说法；对抗式建集主动寻找模型弱点；标注一致率比较评审与人工判断；分布外判分要求明确究竟留出了问题、模型还是答案风格。

一、问题设定：更会模仿常见文本，是否也更会复述常见误解

错误可能来自缺少知识，也可能来自精准模仿了训练里常见但错误的说法。扩大模型可改善前者，却未必改善后者；本篇有意构造容易诱发误解补全的问题，联合检查回答是否真实、是否真正提供信息。

输入是问题和固定提示，输出为自然语言答案。作者定义“真实”为不作错误断言，因此“不知道”或无信息的回应也可以算真实。这是一种操作性定义，不是在判定模型内心是否诚实，更不要求推断其是否有欺骗意图。

正因如此，还要记录信息量。一个始终拒答的系统可以得到很高真实性，却没有帮助。读论文时不能把“真实回答比例”误当作“正确解决问题比例”。

二、把对抗题集、真实性与信息量定义为不同事件

817个问题覆盖38类。作者先针对GPT-3 175B测试候选问题，剔除它在多次随机回答中稳定答对的题，得到437个“过滤问题”；再依据经验写380个未用目标模型试验的“未过滤问题”。每题有正确参考、错误参考与支持来源。

这是有意进行的压力测试，不是现实用户问题的随机抽样。目标模型参与选题，可能让该模型及相似模型承受额外选择偏差。未过滤部分和其他模型族的结果有助于检查这种解释，却不能把偏差完全消除。

主任务要求零样本：被测回答模型不在这些题上更新参数，提示中不含TruthfulQA示例；原始基线还要求不拿题目调提示或超参数。默认QA提示含其他普通问答示例，因而这里零样本的定义是没有本基准示例，而非提示里绝无任何示例。

设第 $i$ 个答案的二值真实性为 $t_i$ ，信息量为 $u_i$ ，则可分别报告：

$\mathrm{True}=\frac1N\sum_i t_i, \qquad \mathrm{Info}=\frac1N\sum_i u_i, \qquad \mathrm{TrueAndInfo}=\frac1N\sum_i t_i u_i.$

原文还给标量分及其阈值化版本，上式是帮助理解二值汇总的记法。三者不能相互替换：高信息量可能是详细地讲错，高真实性也可能只是回避回答。

多选变体不生成自由答案，而对给定正确与错误参考计算条件概率。原文描述的归一化真答案概率质量为：

$S(q)=\frac{\sum_{a\in A_{\rm true}}p_\theta(a\mid q)} {\sum_{a\in A_{\rm true}\cup A_{\rm false}}p_\theta(a\mid q)}.$

分母只覆盖候选参考，不是全部自然语言答案。它测模型对给定表述的概率偏好，与开放生成、是否拒答的行为不同；后续实现中的多选指标名称也应按版本确认。

对抗采样测的是脆弱性，不是日常错误率

设D为普通用户问题分布，A为构造者倾向选择模型易错题的事件，基准测得的是 $P(\text{正确}\mid A)$ ，一般不等于 $P_D(\text{正确})$ 。原文明确有针对目标模型测试后保留的题，以及基于经验编写但未在目标模型筛选的题；两部分共同刻画模仿人类误解的弱点。方法价值是暴露故障，不是代表所有自然问题的频率。

教学例。 模型对一道含错误前提的问题只说“不知道”，可能避免造假却没有纠正前提；另一答案明确指出错误并给出有根据解释，才同时有真实性和信息量。若100题中90题都拒答，只报“未说假话比例”可能看起来很高，所以应联合报告truthful与informative，并检查拒答、含糊与实质纠错。

自构例子： 问题设定为“传说中的某个幸运符是否能保证考试满分？”答案A是“不知道”，不作错误断言但没提供帮助；答案B是“没有保证，应依据学习和考试表现判断”，既真实也相关；答案C详细讲一个保证满分的机制，可能信息丰富但虚假。这个例子只说明指标逻辑，不属于官方题集。

真实与有信息的交集不能用两个平均数相乘

100份回答中有60份真实、80份有信息，二者交集可能只有40份，也可能有60份；仅凭边际比例不能确定“真实且有信息”的得分。全部拒答可能改变两个轴的交集结构。应保留每份回答的两个标签，再直接统计联合事件，而非默认真实性和信息量独立。

教法联系：Lilian Weng的Extrinsic Hallucinations in LLMs。算例为本文自构。

三、固定零样本提示并检验人工与自动判分协议

输入：固定题集、参考答案及来源、待测模型、预先确定提示
对每题：
  不提供本基准演示，贪心解码生成回答
  依据来源与判分规则分别标记真实性和信息量
  保留边界案例、分歧与拒答类型
汇总 True、Info、TrueAndInfo，并按模型规模和题目类别拆分
可选：对所有给定参考算条件概率，汇总多选分数
自动评价器：
  用人工标注的(问题,答案,标签)微调GPT-judge
  留出一个回答模型族，测试其答案判分一致性
输出：受明确题集和判分标准约束的真实性评估

GPT-judge是监督二分类器，其交叉熵目标是预测人工判定，不是让被测模型变得真实。它接受训练中的所有问题，只留出某些模型的答案，因此“泛化到新模型输出”不能写成“泛化到从未见过的事实问题”。

四、同时读规模、信息量和判分器风格外泛化

先分清真实与真实且有信息，再读逆向规模趋势；判分器一致率也必须按答案风格解释。

项目	原文报告与解释
题集	817题、38类，问题长度中位数9词；437过滤加380未过滤
被测模型	GPT-3、GPT-Neo/J、GPT-2、UnifiedQA多个规模；175B另测提示变体
解码与训练	主生成任务贪心解码；被测模型不在题集上训练，研究比较已有检查点
人工基线	一名外部参与者回答随机250题，可联网，每题建议2分钟；不是一般人群均值
标注验证	另一名验证者检查100题的一真一假参考，7%问题有分歧
自动判分数据	约6.9K参考答案标签与15.5K模型答案人工标签；GPT-judge基础模型6.7B
统计边界	生成样本、问题抽样与人工判断均带不确定性；没有多次重新预训练来隔离纯参数规模因果效应

人类可以检索，原始模型主任务没有同样工具，因此人机差距也不是完全相同信息预算下的能力差。不同模型族的语料与目标不同，应优先看族内规模趋势，再讨论跨族一致性。

证据一：图4与附录表4。 GPT-3 175B配合helpful提示，真实回答约58.1%，同时真实且有信息约21.4%；人工基线分别约94%和87%。相差的不只是“知道多少”，也包括拒答方式。若只引用58%并说回答正确率超过一半，会遗漏大量没有真正回答问题的情况。先分清“真实”和“真实且有信息”两种纵轴含义；回答“不知道”可能提高前者，因此必须连同信息性一起判断。

TruthfulQA上的真实性、信息性和同时真实且有信息的比例 — 原实验图摘引：Stephanie Lin、Jacob Hilton、Owain Evans，2021，图4；核对原文。原版权保留。

证据二：图2及附录表4。 GPT-Neo/J从125M到6B，真实回答比例43.6%降到26.8%，下降16.8个百分点；同时回答信息量从54.3%增至90.0%。更大模型更愿意给实质回答，却更可能在此题集说错。控制组采用相近句法、但不诱发误解的常识题时，规模趋势改善，削弱“只是题目句法奇怪”的解释。

不同规模语言模型在TruthfulQA与控制常识题上的真实性 — 原文图形摘引：Stephanie Lin、Jacob Hilton、Owain Evans，2022，图2，PDF第3页；核对原文。原版权保留。

证据三：图3。 镜子例子中，小模型给出泛泛定义，大模型复述迷信。它直观展示信息量与真实性的冲突，但只是一个案例，不能证明全部错误都由训练语料中的同句复制产生。§4.3将模仿性错误作为多条证据支持的解释，也承认部分非模仿弱点仍可能存在。

不同GPT-3规模对打碎镜子问题给出的真实与迷信回答 — 原文图形摘引：Stephanie Lin、Jacob Hilton、Owain Evans，2022，图3，PDF第3页；核对原文。原版权保留。

证据四：附录B.1表1与§4.4。 自动判分器对部分留出模型答案与人工标签一致率达到90%–96%；对人类答案为89.5%。表1还显示GPT-3 long-form提示答案的一致率仅79.8%。所以不能把正文的90%–96%概括成所有回答风格的最低保证，更不能把评审模型本身当作事实真值来源。

原文§7明确指出，高TruthfulQA分数不能证明专门领域中同样真实。基准擅长发现缺乏稳健性，却不覆盖所有时效事实、复杂证据冲突或长文引用可靠性。

五、压力测试揭示脆弱性而非日常问答错误率

它把一个抽象问题变成可审查题目：训练越像人类文本，是否也会越像人类犯错？这为后续监督对齐、反馈学习和检索提供评价动机，但原论文并未通过对照实验证明哪种对齐算法已经解决这些错误。

如果为了提高真实率，把所有答案替换成A，指标会改善而使用价值下降。相反，要求每次都详细回答也可能提高信息量而增加错误。理想评估必须同时看两维，并检查问题是否允许合理回答。

六、将真实性与指令偏好作为不同优化与评价轴

真实性不能被偏好胜率自动替代。InstructGPT改变人类偏好的输出分布，HELM将多个指标并列；可继续追问训练收益是否也保留“真实且有信息”的联合事件。

自测与答案

1. 为什么真实率高不等于解决问题的比例高？

定义允许“不知道”等不作错误断言的回答。应看真实且有信息的联合比例，并查看拒答类别。论文helpful模型58.1%真实却只有21.4%同时真实且有信息，正说明两个指标差别。

2. 逆向规模趋势能否证明增大模型必然降低真实性？

不能。它发生在特定时代的模型、提示与对抗题集上。不同训练目标、数据和后处理可能改变趋势；原论文还有目标模型参与选题的问题。控制组和跨族一致性支持研究解释，但不是对所有未来模型的定律。

3. GPT-judge留出一个模型族，为什么还不能证明它会判断任意新问题？

判分训练仍包含全部817个问题及参考答案，留出的是该模型族产生的回答。它测试对新回答分布的适应，而非新事实知识的验证。扩到新领域时需要新的来源、人工审查与独立问题划分。