GPT-o3代码执行单日暴跌27.2分 材料约束反升35分

GPT-o3在今日Smoke评测中代码执行得分从98.80分降至71.60分,降幅达到27.2分,同时材料约束得分从51.70分升至86.70分,增幅35分,主榜得分从77.61分升至78.40分。

得分明细与直接对比

代码执行维度昨日98.80分、今日71.60分,工程判断从87.50分降至75.00分,任务表达从77.90分升至100.00分,诚信评级维持pass。主榜仅上升0.8分,显示两个核心可审计维度一跌一涨后总体保持平稳。

波动成因分析

Smoke评测每日仅10题、每维度2题,样本量极小,单日分数标准差容易放大。代码执行与材料约束出现方向相反的大幅变动,最可能源于今日题目抽签的难度分布变化,而非模型参数本身发生退化。工程判断下降12.5分、任务表达上升22.1分,进一步印证不同维度受题库随机性影响的独立性。

对使用者的具体含义

重度依赖代码执行的开发团队在调用GPT-o3时需增加本地验证环节,尤其在处理复杂算法或多步推理任务时,单次回答的不确定性已从昨日的低水平上升。材料约束得分大幅提升的场景下,依赖模型严格遵循输入约束或格式要求的自动化流程可获得更高成功率。

战略判断

基于单日数据,GPT-o3主榜得分仍维持在78.40分区间,代码执行的27.2分跌幅尚未构成主榜趋势性下滑的证据。稳定性维度得分31.7分已显示该模型在小样本测试中一致性较低,建议下一期继续追踪同一维度连续三日得分标准差,若连续出现类似幅度波动,则需重新评估其在生产环境中的可靠性。

目前数据仅支持“抽样波动为主因”的判断,不支持“模型真实退化”的结论。企业选型时可继续将GPT-o3列入候选,但需针对代码执行场景设置每日抽检机制。


数据来源:赢政指数 (YZ Index) | Run #438 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!