GPT-6.1 Sol代码执行暴跌27.3分 主榜降至78.69

GPT-6.1 Sol在今日Smoke评测中代码执行得分从97.30降至70.00,主榜整体从84.70回落至78.69。

得分变化事实

代码执行维度出现-27.3分变动,材料约束从69.30升至89.30,工程判断从100.00降至94.80,任务表达从100.00降至85.00。诚信评级维持pass。

成因分析

Smoke评测每日仅10题,每维度2题。代码执行单题失误即可导致27.3分级波动。材料约束同期上升20分,显示模型在约束遵循上未出现系统性退化。工程判断与任务表达的小幅回落也符合小样本抽签特征,而非整体能力崩塌。

若为模型真实退化,通常会伴随多维度同步下滑,但材料约束的反向提升与此不符。因此,题目抽签波动是更可能的原因。

对使用者的含义

重度依赖代码执行的开发团队需注意,单日70.00分表现可能导致生成代码的可靠性下降。在需要稳定输出代码的场景中,建议增加人工复核环节。

对材料约束敏感的文档生成或合规场景,今日89.30分反而提供更高保障,可作为短期备选。

战略判断

主榜6分回落主要由代码执行驱动。鉴于测试规模有限,此次变动不足以判定模型已进入退化通道。下一期Smoke评测若代码执行回升至90分以上,则可确认本次为抽签事件;若持续低于80分,则需进一步验证一致性。

目前数据不支持对GPT-6.1 Sol进行全面下调评估,重点观察后续两期代码执行得分标准差即可得出更可靠结论。


数据来源:赢政指数 (YZ Index) | Run #429 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!