Claude Sonnet 4.6 材料约束下滑15.2分 主榜回落5.5分

Claude Sonnet 4.6在今日Smoke评测中材料约束得分从88.30分降至73.10分,降幅15.2分,直接导致主榜从77.41分回落至71.89分。

得分对比与主榜构成

代码执行维度从68.50分升至70.90分,涨幅2.4分。材料约束维度从88.30分跌至73.10分,跌幅15.2分。主榜仅由代码执行与材料约束加权构成,因此材料约束的单日大跌成为主榜回落5.5分的唯一来源。工程判断从75.00分升至100.00分,任务表达从38.80分升至70.00分,均为侧榜指标,不计入主榜。

可能成因分析

Smoke评测每日仅10题,每维度2题,题目抽签随机性是首要因素。材料约束维度当日抽到的2题可能对指令遵循或引用忠实度要求更高,导致得分大幅波动。代码执行维度同期微升,表明模型在该方向并未出现系统性退化。工程判断与任务表达侧榜同时大幅上升,进一步显示模型整体输出风格未崩,问题更可能集中在材料约束特定题目的抽样上。

材料约束73.10分 vs 昨日88.30分,单日波动幅度远超代码执行的2.4分涨幅。

对使用者的含义

重度依赖材料忠实度的场景需提高警惕。需要模型严格按给定材料生成回答或引用原文的企业,今日73.10分水平意味着输出中出现遗漏或改写风险上升。代码执行仍维持70.90分,对以代码生成为主的团队影响较小。诚信评级维持pass,模型未出现系统性造假或拒绝回答问题。

战略判断

当前数据最可能指向题目抽签波动,而非模型真实退化。材料约束单日跌15.2分与侧榜两项指标同时大幅上升的组合,符合随机题目难度差异导致的正常波动特征。建议下一期继续追踪材料约束得分,若连续两日低于80分再考虑模型能力变化。主榜71.89分已低于昨日水平,但代码执行仍保持上升趋势,选型时可继续观察材料约束的后续表现。


数据来源:赢政指数 (YZ Index) | Run #436 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!