Claude Opus 4.7在今日Smoke评测中,材料约束得分从昨日88.30分降至71.40分,降幅16.9分,但主榜得分从79.56分升至84.11分,净增4.6分。
得分对比数据
代码执行维度从72.40分升至94.50分,增幅22.1分;材料约束维度从88.30分降至71.40分;工程判断侧榜从55.60分降至50.00分;任务表达侧榜从85.40分降至55.40分。诚信评级维持pass。
主榜净升的直接原因
主榜仅由代码执行与材料约束两个维度加权构成。代码执行单日提升22.1分,超过材料约束下降16.9分带来的负面影响,导致主榜整体上行。材料约束得分下降幅度虽大,但未抵消代码执行的增幅。
可能成因分析
Smoke评测每日仅10题,2题/维度,单日抽题波动是主要可能原因。材料约束题目若抽中对原始材料忠实度要求更高的案例,模型回答偏差会直接拉低该维度分数。代码执行题目若抽中相对简单的调试或计算任务,模型表现则易出现大幅提升。任务表达侧榜跌幅达30分,进一步指向当日题目分布可能偏离模型稳定输出区间,而非模型能力出现系统性退化。
真实退化的可能性目前缺乏多日连续数据支撑。单日材料约束与任务表达同时下降,但代码执行大幅上升,显示模型在不同任务类型上的表现差异被当日题目放大。
对使用者的具体含义
重代码执行的团队在今日数据下可获得更高可用性,Smoke评测中代码执行94.50分已接近高位区间。依赖材料忠实度的场景(如文档摘要、合同审查、知识提取)则面临风险,材料约束71.40分已低于昨日水平,输出可能出现更多偏离原文的情况。
工程判断与任务表达侧榜同时走低,提示在需要复杂决策或清晰任务拆解的流程中,模型一致性可能出现波动。开发者在生产环境中调用时,需增加对材料约束相关输出的二次校验环节。
战略判断
基于单日数据,主榜上升主要由代码执行拉动,材料约束下降更可能是题目抽签波动所致,而非模型真实退化。当前信号不足以判定Claude Opus 4.7出现系统性问题,建议下一期Smoke评测继续追踪材料约束与代码执行两个主榜维度。若连续两日材料约束维持在75分以下,则需启动多日稳定性验证。
对选型企业而言,今日数据不支持将Claude Opus 4.7从材料敏感场景中移除,但需在工作流中增加材料校验步骤。代码执行表现的提升值得在纯代码任务中进一步测试。
数据来源:赢政指数 (YZ Index) | Run #423 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接