Claude Opus 4.7材料约束暴跌15.9分 主榜反升5.8

Claude Opus 4.7在今日Smoke评测中,材料约束得分从昨日100.00分降至84.10分,下降15.9分,同时代码执行从75.00分升至98.50分,上升23.5分,主榜得分从86.25分升至92.02分,上升5.8分。

核心维度得分对比

代码执行与材料约束构成主榜。代码执行今日98.50分,材料约束84.10分,两者加权后主榜92.02分。工程判断从80.60分升至100.00分,任务表达从84.70分降至45.60分。诚信评级维持pass。

得分变化的可能成因

Smoke评测每日仅10题,每维度2题。材料约束单日下降15.9分,最可能源于题目抽签波动。2题样本下,一道高难度材料忠实度题目即可拉低该维度平均分。代码执行同期上升23.5分,同样指向抽题随机性而非模型整体退化。任务表达下降39.1分幅度更大,但该维度属于侧榜,不直接影响主榜排名。

若为模型真实退化,代码执行与材料约束通常同向变动,而今日两者反向变动,抽题波动解释力更强。每日10题测试设计本身允许较大单日标准差,31.7分稳定性评分已提示此类波动属于正常范围。

对使用者的具体含义

重代码执行的团队可继续使用Claude Opus 4.7,今日98.50分显示其在该维度已达高位。依赖材料忠实度的场景,例如合同抽取、文献引用、数据对齐任务,需额外人工校验,84.10分较昨日100.00分存在明显差距。

工程判断今日100.00分,对需要架构决策的开发者有利。任务表达45.60分则提示在长指令遵循或风格一致性要求高的场景中,输出质量可能下降。

战略判断

主榜92.02分高于昨日,材料约束单维度暴跌未改变整体排名。基于现有得分对比,Claude Opus 4.7在代码执行维度的提升抵消了材料约束损失,当前主榜表现仍属稳健。下一期Smoke评测需重点验证材料约束是否回升至95分以上,若连续两日低于90分,则需考虑是否进入观察名单。

工程判断与任务表达的侧榜数据仅作参考,不改变主榜结论。企业选型时,优先关注代码执行与材料约束两项可审计指标,今日数据支持继续观察而非立即替换。


数据来源:赢政指数 (YZ Index) | Run #370 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!