GPT-5.5材料约束暴跌18分代码执行却暴涨30.3分 主榜反升8.6

GPT-5.5在今日Smoke评测中代码执行得分从昨日69.50升至99.80,材料约束得分从昨日79.30降至61.30,主榜得分从73.91升至82.48。

得分对比与核心发现

代码执行维度今日达到99.80,较昨日提升30.3分;材料约束维度今日仅61.30,较昨日下降18分。工程判断与任务表达保持75.00和90.00不变,诚信评级维持pass。主榜由代码执行与材料约束两个维度加权构成,今日主榜82.48的上升主要来自代码执行的大幅拉升。

可能成因分析

Smoke评测每日仅10题,每维度2题,样本量小导致单日分数波动正常。材料约束-18分与代码执行+30.3分同时出现,指向题目抽签随机性:今日抽中的代码执行题目可能更符合模型当前训练分布,而材料约束题目可能包含更多需要严格忠实原文的约束条件。两个维度得分反向大幅变动,缺乏同一方向的系统性退化证据,因此更可能是抽签波动而非模型真实能力退化。

代码执行99.80分与材料约束61.30分在同一日出现,说明模型在不同任务类型上的表现差异被放大。

对使用者的含义

重代码执行的团队在今日数据下可获得更高置信度,99.80分表明模型在代码生成与调试场景中表现稳定。依赖材料忠实度的场景则面临风险,61.30分意味着模型更易偏离给定材料或指令,适合对原文忠实度要求不高的辅助性写作任务。工程判断与任务表达保持不变,说明模型在侧榜能力上未出现明显波动。

战略判断

基于今日得分对比,材料约束的-18分更可能由题目抽签波动导致,而非模型退化。主榜82.48的上升显示代码执行权重在当前评测中占优。建议下期继续追踪材料约束维度,若连续两日低于65分再考虑模型真实变化。目前数据不支持对GPT-5.5整体能力下调判断。

工程判断75.00与任务表达90.00的零变化,进一步印证主榜波动集中在代码执行与材料约束两个可审计维度。使用者可根据自身场景权重分配:代码执行占比高的项目可优先选用,材料约束敏感的项目需增加人工校验环节。

今日数据完整记录了GPT-5.5在Smoke评测中的维度得分变化,代码执行99.80分、材料约束61.30分、主榜82.48分均为直接测量结果。任何超出这些数值的推断均缺乏支撑。


数据来源:赢政指数 (YZ Index) | Run #415 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!