Claude Sonnet 4.6在今日Smoke评测中,材料约束得分从昨日100.00分降至84.20分,降幅15.8分,代码执行得分则从50.00分升至97.00分,主榜整体从72.50分升至91.24分。
数据拆解:两个核心维度的剧烈反向波动
Smoke评测每日仅2题/维度,样本量极小。材料约束单日损失15.8分,意味着至少一题在引用忠实度或约束遵循上出现明显扣分;代码执行单日增加47分,则显示另一题或两题在执行准确性上大幅改善。主榜91.24分由代码执行与材料约束加权得出,执行端的巨幅回升掩盖了约束端的下滑。
成因分析:抽签波动还是真实退化
从得分跨度看,两个维度同时出现超过15分的单日变化,符合小样本抽签的典型特征。材料约束昨日满分100.00分,今日84.20分,差值可能仅来自一道需要严格按材料回答的题目;代码执行昨日50.00分,今日97.00分,同样可能来自一道执行类题目难度降低或模型恰好命中正确路径。没有连续多日同方向趋势数据支持,因此更可能归因于题目随机性,而非模型能力系统性退化。
对使用者的具体含义
对重度依赖材料忠实度的场景(如法律合同抽取、产品规格核对、企业内部知识库问答),Claude Sonnet 4.6今日84.20分的材料约束表现意味着单次调用出错概率上升,建议在关键流程中增加人工复核或多模型交叉验证。
对代码执行需求强烈的团队(如自动化脚本生成、数据处理流水线),今日97.00分显示该模型在执行类任务上已达到较高可用水平,可在受控环境下扩大使用范围。
战略判断
基于单日数据,材料约束的15.8分下滑尚未构成模型退化信号,更可能是Smoke评测固有波动。诚信评级维持pass,未出现诚信问题。建议下一期继续追踪材料约束得分,若连续两日低于90分再启动深度复测;目前无需对Claude Sonnet 4.6整体能力下调评估。
主榜91.24分 vs 昨日72.50分,执行端回升掩盖约束端下滑,短期内仍以观察为主。
数据来源:赢政指数 (YZ Index) | Run #334 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接