Claude Opus 4.7代码执行暴跌19.5分 材料约束反升19.3分

Claude Opus 4.7在今日Smoke评测中,代码执行维度从94.50分跌至75.00分,降幅19.5分;材料约束从70.00分升至89.30分,增幅19.3分;主榜总分从83.48分降至81.44分,仅下降2分。

数据事实与维度拆解

Smoke评测每日仅10题,每维度2题。代码执行与材料约束构成主榜,工程判断和任务表达为侧榜。今日代码执行75.00分、材料约束89.30分共同决定主榜81.44分。工程判断从55.60分升至75.00分,任务表达从37.50分升至50.00分,诚信评级维持pass。

成因分析:抽签波动还是模型退化

单日10题样本下,题目抽签随机性是首要因素。代码执行与材料约束同时出现接近20分的反向变动,说明模型在不同题型上的表现差异被放大。若为真实退化,通常会伴随多维度同步下滑,而今日侧榜两项均上升,指向题目分布而非能力整体下降。

材料约束得分上升19.3分,可能源于今日抽中对引用忠实度要求更高的题目;代码执行暴跌则可能因抽中需要复杂多步推理或边缘案例的代码题。两者得分反向抵消,导致主榜仅微降2分。

对使用者的具体含义

重度依赖代码生成的团队需注意,单日代码执行75.00分意味着在复杂调试或多文件重构场景中,模型输出稳定性可能低于前日94.50分水平。材料约束89.30分则显示,在需要严格遵循参考文档的RAG场景下,今日表现优于昨日。

工程判断与任务表达两项侧榜上升,对需要模型进行架构决策或需求拆解的开发者而言,今日可用性有所改善。但主榜波动提醒,选型时不能仅看单日分数,需观察多日一致性。

战略判断

基于今日数据,Claude Opus 4.7主榜得分变化主要由代码执行与材料约束的随机抵消造成,暂无证据支持模型真实退化。每日Smoke评测的2题/维度设计天然放大波动,单日19.5分降幅在正常范围内。

若下期代码执行仍维持在80分以下且材料约束回落,则需重点验证模型在代码类任务上的题型敏感度。目前数据仅显示抽签波动,尚未构成持续关注信号。


数据来源:赢政指数 (YZ Index) | Run #427 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!