GPT-o3材料约束暴跌16.7分 代码执行反涨23.8分主榜却升5.6

GPT-o3在今日Smoke评测中材料约束得分从昨日100.00降至83.30,代码执行得分从50.00升至73.80,主榜得分从72.50升至78.08。

数据事实拆解

Smoke评测每日仅2题/维度,材料约束单日损失16.7分,意味着至少1题未通过材料忠实度检查。代码执行则获得23.8分提升,显示该维度2题均有明显进步。工程判断维持75.00不变,任务表达从90.00降至85.00。主榜仅由代码执行与材料约束加权构成,因此代码执行的大幅上升直接抵消了材料约束的损失。

成因分析:抽签波动概率更高

每日10题的抽样规模极小,单题得分权重达12.5分。材料约束昨日满分100.00,今日83.30,差值对应1题失分。代码执行昨日50.00,今日73.80,差值对应至少1题得分提升。工程判断与任务表达变化幅度较小,说明模型在这些侧榜维度上未出现系统性退化。综合来看,材料约束的下跌更可能是题目抽签带来的随机波动,而非模型真实能力退化。

材料约束83.30 vs 代码执行73.80,主榜78.08的最终结果显示,代码执行的增益完全覆盖了材料约束的损失。

对使用者的含义

对重度依赖材料忠实度的企业场景,例如合同审核、政策解读,GPT-o3今日表现提示需增加人工复核环节。代码执行得分提升则对自动化脚本生成、数据处理 pipeline 有利,重代码执行的团队可继续使用该模型,但应在材料约束敏感任务上设置双模型校验。

  • 材料约束敏感场景:建议增加人工抽检比例,避免单题失分导致整体输出偏差。
  • 代码执行主导场景:今日73.80分已接近可用阈值,可作为日常工具继续观察。

战略判断

基于单日数据,主榜上升5.6分的事实表明GPT-o3整体能力未出现系统性下滑。材料约束的-16.7分更可能源于抽签波动,而非模型退化。诚信评级维持pass,进一步支持这一判断。建议下一期继续追踪材料约束得分,若连续两日低于90.00再启动深度复测;当前无需对GPT-o3整体能力下调评估。


数据来源:赢政指数 (YZ Index) | Run #435 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!