Claude Sonnet 4.6在今日Smoke评测中主榜得分从82.31分跌至70.61分,降幅11.7分。
得分拆解:材料约束主导跌幅
主榜仅由代码执行与材料约束加权构成。今日代码执行从99.50分降至94.50分,降5分;材料约束从61.30分降至41.40分,降19.9分。材料约束单项跌幅占主榜总跌幅的绝大部分,直接拉低整体排名。
工程判断从60.80分升至75.00分,任务表达维持37.50分不变。诚信评级保持pass。
成因分析:抽签波动还是真实退化
Smoke评测每日仅10题,每维度2题。材料约束单日19.9分跌幅在小样本下可能由题目抽签导致,也可能反映模型对材料忠实度的处理出现系统性偏差。代码执行仅降5分,幅度在正常波动范围内。工程判断反向上升14.2分,说明模型在侧榜任务上的表现并未同步下滑。
当前数据无法区分一次性抽签异常与真实能力退化。材料约束题目若涉及长文本引用或指令冲突,单题失误即可造成较大分数波动。
对使用者的含义
重度依赖材料约束的场景受影响最大。需要模型严格遵循上传文档或指令的企业RAG系统、合同审查工具、知识库问答应用,应立即增加人工校验环节。代码执行场景受影响较小,日常脚本生成与调试仍可继续使用。
对开发者而言,工程判断上升显示模型在架构设计类任务上仍有余力,可在混合工作流中保留该模型处理侧榜任务。
战略判断
材料约束19.9分单日跌幅超出正常抽签区间,构成需要下期验证的信号。若明日材料约束分数回升至55分以上,则本次下跌更可能归因于题目波动;若持续低于45分,则需考虑模型真实退化。
目前仅一期数据,不支持“连续退化”结论。建议将Claude Sonnet 4.6的材料约束表现列入每日跟踪清单,连续三期观察后再做选型调整。
数据来源:赢政指数 (YZ Index) | Run #426 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接