GPT-6 Sol主榜暴跌16.4分 代码执行从100直降66.8

GPT-6 Sol在Smoke评测中的主榜得分从90.51分下降到74.14分,降幅16.4分,主要由代码执行维度从100.00分跌至66.80分导致。

数据事实拆解

代码执行维度单日损失33.2分,材料约束维度从78.90分升至83.10分,净增4.2分。工程判断从100.00分降至75.00分,任务表达从90.00分升至91.00分。主榜加权结果直接反映代码执行的剧烈下滑。诚信评级维持pass。

成因分析

Smoke评测每日仅10题,2题/维度,抽签波动是首要可能因素。代码执行维度今日或抽中对特定语法、边界条件要求更高的题目,导致得分从满分直接跌至66.80分。材料约束维度反而上升,说明模型在约束遵循上未出现系统性退化。工程判断同步下降25分,可能与同批题目中需要多步推理的代码题重合,任务表达微升1分则显示表达能力未受波及。

真实退化与抽签波动的区分需要后续多日数据。单日33.2分跌幅在10题规模下属于极端区间,但材料约束与任务表达的正向或持平表现,排除了全维度一致下滑的可能。

对使用者的含义

重度依赖代码执行的开发团队需立即增加本地验证环节。GPT-6 Sol在材料约束维度仍保持83.10分,对需要严格遵循提示词的场景仍具可用性。工程判断75.00分意味着涉及多步决策的代码任务风险上升,建议拆分任务后分别调用。

对选型企业而言,单日数据不足以改变整体评估,但连续两日出现代码执行低于80分时,应启动备选模型测试。

战略判断

本次下跌最可能由题目抽签波动驱动,而非模型真实退化。材料约束与任务表达的稳定表现支持这一判断。下一期Smoke评测若代码执行回升至90分以上,则可确认波动属性;若持续低于75分,则需标记为潜在退化信号。当前阶段,GPT-6 Sol仍可用于材料约束要求高的场景,但代码执行密集任务应降低优先级。


数据来源:赢政指数 (YZ Index) | Run #404 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!