Claude Opus 4.7 Smoke评测主榜暴跌19.3分 代码执行单日掉22分

Claude Opus 4.7在今日Smoke评测中主榜得分从昨日的90.51分跌至71.26分,降幅19.3分。

核心维度得分变化

代码执行维度从91.50分降至69.50分,降幅22分;材料约束维度从89.30分降至73.40分,降幅15.9分。工程判断维度从75.00分升至94.50分,升幅19.5分;任务表达维度从84.70分降至58.90分,降幅25.8分。诚信评级维持pass。

数据事实拆解

Smoke评测每日仅10题,每维度2题,主榜仅统计代码执行与材料约束两项可审计维度。今日两项核心维度同时出现超过15分的下滑,导致主榜整体下行19.3分。侧榜工程判断出现明显上升,任务表达则同步大幅回落。

可能成因分析

单日10题抽签带来的题目难度或类型分布差异,是最直接的解释。代码执行与材料约束同时失分,表明今日抽中的题目可能对精确计算与引用忠实度要求更高。工程判断得分上升则显示模型在同一批题目中对工程场景的判断反而更稳,说明并非整体能力退化,而是不同维度对题目敏感度不同。

若模型出现真实退化,通常会表现为多个维度同步、持续的回落,而非侧榜出现反向上升。本次数据中工程判断的19.5分升幅,与主榜两维度的大幅回落并存,更符合题目抽签波动特征,而非模型参数或训练层面的系统性变化。

对使用者的含义

重度依赖代码执行的开发团队,在今日及相似波动日需对Claude Opus 4.7的输出进行额外人工校验,尤其涉及数值计算与逻辑验证的场景。材料约束得分回落,意味着对引用准确性要求高的研究或合规场景也应提高复核频率。

工程判断得分上升,提示在需要工程决策辅助的场景中,Claude Opus 4.7今日表现反而优于昨日,可在该细分任务中继续使用。任务表达维度的大幅回落,则提醒内容生成类任务需关注输出结构稳定性。

战略判断

基于单日数据,主榜19.3分回落最可能由题目抽签波动导致,而非模型真实退化。Smoke评测本身已说明单日波动属正常范围,因此本次变化暂不构成持续关注信号。

下一期评测若代码执行与材料约束仍维持在70分以下区间,则需进一步验证是否存在能力变化;若两维度回升至85分以上,则可确认今日为典型抽签波动。当前数据不支持对Claude Opus 4.7进行能力下调判断。


数据来源:赢政指数 (YZ Index) | Run #224 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!