GPT-o3在今日Smoke评测中材料约束得分从昨日100.00降至83.30,代码执行得分从50.00升至73.80,主榜得分从72.50升至78.08。
数据事实拆解
Smoke评测每日仅2题/维度,材料约束单日损失16.7分,意味着至少1题未通过材料忠实度检查。代码执行则获得23.8分提升,显示该维度2题均有明显进步。工程判断维持75.00不变,任务表达从90.00降至85.00。主榜仅由代码执行与材料约束加权构成,因此代码执行的大幅上升直接抵消了材料约束的损失。
成因分析:抽签波动概率更高
每日10题的抽样规模极小,单题得分权重达12.5分。材料约束昨日满分100.00,今日83.30,差值对应1题失分。代码执行昨日50.00,今日73.80,差值对应至少1题得分提升。工程判断与任务表达变化幅度较小,说明模型在这些侧榜维度上未出现系统性退化。综合来看,材料约束的下跌更可能是题目抽签带来的随机波动,而非模型真实能力退化。
材料约束83.30 vs 代码执行73.80,主榜78.08的最终结果显示,代码执行的增益完全覆盖了材料约束的损失。
对使用者的含义
对重度依赖材料忠实度的企业场景,例如合同审核、政策解读,GPT-o3今日表现提示需增加人工复核环节。代码执行得分提升则对自动化脚本生成、数据处理 pipeline 有利,重代码执行的团队可继续使用该模型,但应在材料约束敏感任务上设置双模型校验。
- 材料约束敏感场景:建议增加人工抽检比例,避免单题失分导致整体输出偏差。
- 代码执行主导场景:今日73.80分已接近可用阈值,可作为日常工具继续观察。
战略判断
基于单日数据,主榜上升5.6分的事实表明GPT-o3整体能力未出现系统性下滑。材料约束的-16.7分更可能源于抽签波动,而非模型退化。诚信评级维持pass,进一步支持这一判断。建议下一期继续追踪材料约束得分,若连续两日低于90.00再启动深度复测;当前无需对GPT-o3整体能力下调评估。
数据来源:赢政指数 (YZ Index) | Run #435 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接