测量AI偏见的通行方法存在逻辑自相矛盾——新论文提出双轴最小对框架

2026年10月6日，爱丁堡大学、阿姆斯特丹大学等机构的研究人员在 arXiv 发表论文《The Missing Minimal Pair: Stereotype Evaluation in LLMs》，作者为 Nataliya Stepanova、Ivan Titov、Emily Allaway 和 Björn Ross。论文的核心论点是：当前学术界和工业界最常用的大模型刻板印象测量方法，在逻辑层面存在系统性漏洞。

问题出在哪：一把尺子量两次，结论打架

现有偏见评估的主流做法，是向模型同时呈现两个句子——一句含刻板印象，一句为其反面——通过比较两句的对数似然值（log-likelihood）判断模型是否倾向于强化偏见。这套方法依托 CrowS-Pairs、StereoSet 等数据集，在过去数年间几乎成为 AI 公平性研究的标准工具。

研究团队发现了一个以往被忽略的结构性问题：对同一个刻板印象，只要换一个等价的属性表述，模型对"刻板句"和"反刻板句"的偏好可能完全逆转。两次测量针对语义相同的偏见，却得出相互矛盾的结论，说明分数所反映的不是刻板印象本身的强度，而是句子的表面形式——措辞选择、词序、词频等语言学噪声——对对数似然的干扰。

这并非小问题。一旦测量结果随改写方式不同而剧烈波动，基于这些分数作出的横向比较（"A模型比B模型偏见更少"）就失去了可信度，建立在这类评估上的模型改进策略也可能只是在优化语言风格而非真正减少偏见。

双轴最小对：用结构对称解决对称性缺失

论文提出的解决方案称为"双轴最小对"（dual minimal pair）框架，在原有单一对比维度之外增加第二条轴。具体而言，评估需要同时满足两个条件：

• 属性轴（Attribute Axis）：将句子中的社会群体属性替换为另一对等群体，测试模型偏好是否随群体切换而改变；
• 表述轴（Paraphrase Axis）：对同一刻板印象生成多个语义等价的改写版本，验证测量结果是否对表面形式保持稳健。

只有当一个模型在两个轴上都表现出一致偏好，才能认定其对该刻板印象存在稳定倾向。任何一轴出现矛盾，则判定该测试样例本身不可靠，应在统计汇总前剔除或标记。

配合这一框架，研究团队还开发了一套数据增强流程，自动生成缺失的改写句和替代属性，填补现有数据集中的结构空缺。这套流程已在 BiasShades 数据集上应用，覆盖英语、俄语、西班牙语和中文四种语言的刻板印象条目。

互信息指标：换一种数学语言描述偏见

论文还引入了一个新的评估指标——基于互信息（Mutual Information，MI）的偏见度量。传统方法以单次对比的对数似然差作为偏见得分，MI 指标则衡量模型中社会群体标签与刻板属性之间的统计关联强度，本质上是问：模型"知道"某个属性与某个群体挂钩的程度有多深？

这一视角带来两个实际优势。其一，MI 值在跨语言、跨模型聚合时更为稳定，不像对数似然那样受语言词汇分布的系统性偏移影响；其二，MI 天然适合回答"模型整体上对哪类偏见最敏感"这类宏观问题，而不是只能给出逐条样例的二元判断。

现有基准的积累性缺陷

这篇论文的问题意识并非孤立出现。过去几年，学术界对 CrowS-Pairs 和 StereoSet 的批评持续积累。据多项独立研究，CrowS-Pairs 约有半数条目存在关于刻板印象捕捉对象的歧义；StereoSet 验证通过率约为62%，低于 CrowS-Pairs 的80%，部分条目被认为不能有效反映真实世界的偏见结构。

此外，现有基准的另一个结构性缺陷在于：它们通常将每类偏见的测量压缩为单一标量——模型选择刻板选项的比率。这种做法遮蔽了三类系统性失真：模型在不同表述下行为不一致、测量在不同语言上不可比、以及部分"无偏见"分数实为"真空中立"而非真正的公平。

Stepanova 等人的工作提供了一个可操作的修补方案，但也揭示了更深层的困境：如果底层数据集本身存在结构缺陷，任何加装在其上的统计技巧都只是局部修补。

对实际应用意味着什么

AI 公平性领域长期面临一个结构性困境：评估工具本身缺乏足够的方法论严格性，导致模型开发者难以区分"真正减少了偏见"和"优化了评估分数"。双轴框架如果得到广泛采用，至少能在测试阶段过滤掉那些因表面形式差异造成的虚假信号，让评测结果更难被表面改写操纵。

MI 指标对多语言场景的意义同样值得关注。当前大模型的偏见评估以英语为主，其他语言的数据和方法都严重不足。能够在英、俄、西、中四种语言上运行并产出可横向比较结果的框架，填补了一个现实缺口。