GPT-o3代码执行暴跌22.5分 主榜下滑7.8分

GPT-o3在今日Smoke评测中代码执行得分从94.50分跌至72.00分,主榜整体从92.39分降至84.60分。

得分对比与维度拆解

材料约束从89.80分升至100.00分,任务表达从70.00分升至91.70分,工程判断保持100.00分不变,诚信评级维持pass。主榜仅由代码执行与材料约束两个可审计维度构成,今日主榜下滑7.8分主要来自代码执行单维度-22.5分的拖累。

可能成因分析

Smoke评测每日仅2题代码执行题目,样本量极小,单题失误即可导致维度分数大幅波动。今日代码执行72.00分与昨日94.50分的差距,最可能源于题目抽签难度差异,而非模型能力退化。材料约束与任务表达两项同时上升,显示模型在其他维度回答稳定性未出现系统性问题。

若为模型真实退化,通常会伴随多个维度同步下滑或诚信评级变化,但今日数据中仅代码执行一维异常,其余维度均有提升或持平,因此抽签波动解释力更强。

对使用者的具体含义

重度依赖代码执行的开发团队需在今日后增加人工复核环节,尤其在生成复杂算法或多步推理代码时。材料约束满分表明GPT-o3在严格遵循提示词和输出格式的场景下表现稳定,适合需要高忠实度的文档生成任务。

工程判断维持满分,对需要结构化决策的场景影响有限。任务表达提升21.7分,说明模型在清晰表达任务结果方面有所改善,可用于需要高质量输出的报告撰写。

战略判断

基于单日数据,GPT-o3代码执行得分下滑更可能是抽签波动而非真实退化,暂不需要立即下调模型优先级。若下期评测中代码执行仍维持在80分以下,再行验证模型一致性。当前主榜84.60分仍高于部分竞品,选型企业可继续观察连续三日数据后再做调整。


数据来源:赢政指数 (YZ Index) | Run #380 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!