Claude Sonnet 4.6在今日Smoke评测中主榜得分从80.99分降至64.13分,下降16.9分,主要由材料约束维度从88.30分跌至58.30分导致。
得分对比与数据事实
代码执行维度从75.00分降至68.90分,下降6.1分;任务表达从90.80分降至80.80分,下降10分;工程判断保持100.00分不变;诚信评级维持pass。主榜得分由代码执行与材料约束两个可审计维度加权得出,此次下降中材料约束贡献了绝大部分跌幅。
可能成因分析
Smoke评测每日仅10题,每维度2题,单日分数波动本身属于正常范围。材料约束维度跌幅达30分,远超代码执行的6.1分,提示当日抽中的2道材料约束题目可能对模型输出忠实度要求更高,模型在引用或约束遵循上出现明显失误。任务表达下降10分可能与同一批题目中表达准确性相关,但工程判断零波动显示模型在侧榜能力上仍保持稳定。
从维度构成看,材料约束直接对应模型对给定材料的忠实程度,单日30分跌幅更可能源于题目抽签带来的样本差异,而非模型能力出现系统性退化。代码执行与任务表达的同步小幅下降,进一步支持抽签波动解释。
对使用者的具体含义
对重度依赖材料约束的场景,如文档摘要、合同审查或知识库问答,重代码执行的团队需额外验证Claude Sonnet 4.6今日输出是否出现材料偏离。工程判断保持满分,说明在需要工程决策的辅助场景中,该模型仍可提供稳定参考。
开发者若将Claude Sonnet 4.6用于多轮材料处理任务,建议增加人工抽检环节,尤其在材料约束敏感的金融或法律场景。任务表达下降10分也提示输出结构化程度可能出现波动,需在生产流程中加入一致性检查。
战略判断
基于当前得分对比,材料约束30分跌幅超出正常单日波动区间,值得下期Smoke评测重点跟踪。若下一日材料约束分数回升,则可判定为抽签波动;若持续低于70分,则需考虑模型在该维度的真实稳定性下降。工程判断与诚信评级保持不变,表明核心能力未受影响,选型企业可继续使用,但需针对材料约束场景设置额外验证机制。
数据来源:赢政指数 (YZ Index) | Run #391 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接