Claude Sonnet 4.6材料约束暴跌24.8分,代码执行却飙升50分

Claude Sonnet 4.6在今日Smoke评测中,材料约束得分从昨日77.40分降至52.60分,降幅24.8分,同时代码执行从48.60分升至98.60分,升幅50分,主榜整体从61.56分升至77.90分。

得分对比与核心事实

昨日到今日的具体变化为:代码执行48.60→98.60,材料约束77.40→52.60,工程判断50.00→62.50,任务表达56.30→76.30,诚信评级维持pass。主榜净增16.3分,主要由代码执行的大幅提升驱动。

可能成因分析

Smoke评测每日仅10题,2题 per 维度,单日波动属于正常范围。材料约束暴跌与代码执行暴涨同时出现,最可能的原因是题目抽签的随机性:今日抽到的材料约束题目可能对忠实度要求更高,而代码执行题目相对简单或匹配模型当前优势。另一种可能是模型在材料处理环节出现临时不稳定,但工程判断和任务表达均有提升,说明整体回答框架未崩。

由于没有连续多日同类题目的重复测试数据,无法区分题目波动与真实退化。单日24.8分降幅在10题快测中属于极端值,但代码执行的反向50分涨幅同样极端,指向抽签影响概率更高。

对使用者的具体含义

重材料约束场景的团队,例如需要严格依据给定文档生成回答或避免幻觉的RAG应用,今日52.60分意味着该模型在忠实度上出现明显短板,建议临时切换到材料约束得分更高的模型或增加人工校验环节。

依赖代码执行的开发者则可利用今日98.60分优势,处理复杂算法或调试任务时成功率可能更高。工程判断和任务表达双升,对需要结构化输出和决策辅助的场景形成正面影响。

战略判断

材料约束维度是主榜两大可审计核心之一,单日24.8分跌幅已超出常规波动区间,值得下期继续追踪。若明日材料约束回升,则基本可判定为题目抽签导致;若持续低位,则需考虑模型真实退化风险。当前主榜77.90分被代码执行拉高,材料约束的短板已被部分掩盖,使用者选型时应单独查看该维度而非仅看主榜。

诚信评级维持pass,说明回答未出现系统性造假或拒绝问题,数据可信度未受影响。稳定性维度未提供本次具体数值,但单日极端波动已显示一致性可能较低,依赖稳定输出的生产环境需额外验证。


数据来源:赢政指数 (YZ Index) | Run #439 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!