GPT-5.5在今日Smoke评测中,代码执行维度从昨日99.80分跌至75.00分,降幅24.8分,主榜整体仅从81.58分降至78.74分。
数据事实:维度得分对比
代码执行:99.80→75.00(-24.8)
材料约束:59.30→83.30(+24)
工程判断(侧榜,AI辅助评估):100.00→75.00(-25)
任务表达(侧榜,AI辅助评估):100.00→90.00(-10)
主榜:81.58→78.74(-2.8)
诚信评级维持pass。
Smoke评测每日仅2题/维度,样本量极小,单日分数标准差天然较大。代码执行与工程判断同时出现25分级跌幅,指向当日抽中的2道代码题可能触发了模型在特定约束下的执行失败。
成因分析:抽签波动还是真实退化
材料约束反向上涨24分,说明模型在同一批题目中对材料忠实度控制反而加强。这两项主榜维度走势相反,排除了模型整体能力系统性退化的可能。工程判断(侧榜,AI辅助评估)同步大跌,更可能是因为代码执行失败直接导致后续工程决策链断裂。
最可能的机制是题目抽签:当日代码题可能包含更严格的边界条件或多步依赖,恰好命中模型在长链执行中的脆弱点。材料约束得分上升则显示模型并未“变笨”,而是在不同约束下表现分化。
对使用者的含义
重代码执行的团队在选型时需把GPT-5.5的单日波动纳入预算。若应用场景要求连续多轮代码生成与调试,今日75.00分提示该模型在特定题目上存在明显短板,建议增加人工review环节或并行调用其他模型。
对材料忠实度敏感的场景(如合同抽取、报告生成),今日83.30分反而提供正面信号,说明GPT-5.5在约束收紧时仍能保持较高输出质量。
战略判断
基于当前数据,GPT-5.5主榜排名受单日代码执行波动拖累,但材料约束的同步提升显示其核心能力并未崩盘。下一期评测需重点观察代码执行是否回升至90分以上,若连续两日低于80分,则需下调其代码执行长期预期。
工程判断(侧榜,AI辅助评估)与代码执行同幅下跌,印证两者在实际任务中存在强耦合。依赖工程判断的下游应用应在Smoke评测连续波动超过20分时启动备选模型切换预案。
诚信评级维持pass,说明模型未出现系统性作答不一致或幻觉激增。综合判断,此次暴跌更可能是抽签事件而非模型退化,值得持续跟踪而非立即下结论。
数据来源:赢政指数 (YZ Index) | Run #432 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接