Claude Opus 4.7代码执行72分材料约束85分 Smoke评测主榜微降2.4分

Claude Opus 4.7在今日Smoke评测中,代码执行维度得分从昨日100.00分降至72.00分,材料约束维度从56.00分升至85.00分,主榜整体从80.20分降至77.85分。

数据事实:两个核心维度的反向变动

Smoke评测每日仅10题,每维度2题。今日代码执行维度得分72.00分,较昨日下降28分;材料约束维度得分85.00分,较昨日上升29分。工程判断从94.50分升至100.00分,任务表达从66.70分降至58.90分。诚信评级维持pass。

主榜由代码执行与材料约束加权得出,今日77.85分较昨日下降2.4分。代码执行单日跌幅远大于主榜跌幅,材料约束单日涨幅则完全抵消了部分损失。

成因分析:题目抽签波动概率更高

Smoke评测每维度仅2题,单题得分权重极高。代码执行维度昨日满分100.00分,今日72.00分,差值28分最可能来自题目难度抽签差异。材料约束维度昨日56.00分偏低,今日85.00分,同样指向题目抽签带来的分数回弹。

若模型出现真实退化,通常会同时影响多个维度。今日工程判断反而升至满分100.00分,任务表达虽降7.8分但幅度远小于代码执行。两个主榜维度呈现完全相反的变动方向,进一步支持题目抽签而非模型能力系统性下降的解释。

对使用者的含义

重代码执行的团队在选用Claude Opus 4.7时,需为单日分数波动预留缓冲。Smoke评测中代码执行72.00分仍处于可用区间,但若连续多日出现类似低分,则需重新评估该模型在复杂代码任务中的稳定性。

对材料约束敏感的场景,今日85.00分显示Claude Opus 4.7在遵循给定材料方面表现改善。开发者可优先在需要严格材料忠实度的任务中测试该模型今日表现。

战略判断:暂无需下调优先级,但需次日验证

基于今日数据,Claude Opus 4.7主榜仅降2.4分,核心能力未出现系统性退化信号。代码执行与材料约束的反向剧烈波动,更符合2题抽签的统计特征。

若明日Smoke评测中代码执行维度得分回升至90分以上,则可确认今日为正常波动;若持续低于80分,则需将代码执行维度列入重点观察名单。当前数据不支持对Claude Opus 4.7整体能力做出负面战略调整。


数据来源:赢政指数 (YZ Index) | Run #345 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!