Claude Opus 4.7代码执行暴跌17.4分 任务表达下滑31.2

Claude Opus 4.7在今日Smoke评测中,代码执行得分从75.00降至57.60,主榜从73.61降至69.53。

得分对比数据

材料约束从71.90升至84.10,工程判断从72.20降至69.50,任务表达从57.50降至26.30,诚信评级保持pass。Smoke评测每日仅10题,单日波动属于正常范围。

波动成因分析

代码执行与任务表达同时出现大幅回落,最可能源于当日抽签题目难度分布变化。Smoke评测每维度仅2题,单题失误即可造成10分以上波动。材料约束得分反向上升12.2分,说明模型在约束遵循类题目上表现稳定,并非整体能力退化。

工程判断仅小幅回落2.7分,进一步印证主榜下滑主要由代码执行和任务表达两个维度驱动,而非模型底层能力系统性下降。

对使用者的含义

重度依赖代码执行的开发团队需注意,单日Smoke评测57.60分可能反映当日特定题目类型下的表现,并不直接等同于长期代码能力。材料约束得分上升至84.10,表明在需要严格遵循指令的场景中,Claude Opus 4.7仍保持较高可靠性。

任务表达得分26.30的低位,对需要清晰输出结构的任务可能产生影响,企业选型时应结合多日数据观察。

战略判断

基于单日数据,Claude Opus 4.7主榜69.53分与昨日73.61分相比回落4.1分,核心驱动因素为代码执行与任务表达的抽签波动。诚信评级维持pass,模型基础合规性未受影响。

下一期评测需重点验证代码执行与任务表达是否回升。若两维度持续低位,则需进一步关注模型在对应任务类型上的稳定性;若恢复至75分以上区间,则本次回落更可能归因于题目抽签而非真实退化。


数据来源:赢政指数 (YZ Index) | Run #402 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!