Claude Sonnet 4.6以94.61分居首:2026-08-20 Smoke快测数据简报

2026-08-20 赢政指数 Smoke 快测覆盖 11 个模型,Claude Sonnet 4.6 以 94.61 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1Claude Sonnet 4.694.619297.8pass
#2豆包 Pro92.269588.9pass
#3Claude Opus 4.790.169287.9pass
#4Grok 489.8883.497.8pass
#5Qwen3 Max89.2290.387.9pass
#6GPT-5.588.279283.7pass
#7GPT-o384.6376.394.8pass
#8Gemini 3.1 Pro79.516794.8pass
#9Gemini 2.5 Pro62.424583.7pass
#10DeepSeek V4 Pro59.514280.9pass
#11GLM-4.656.164569.8warn

数据解读

今日赢政指数Smoke快测中,Claude Sonnet 4.6以主榜94.61位居首位,其代码执行92与材料约束97.8形成均衡搭配;豆包Pro主榜92.26,代码执行95、材料约束88.9则呈现代码执行更强的结构;Claude Opus 4.7主榜90.16,代码执行92、材料约束87.9同样偏重代码执行。Grok 4主榜89.88,代码执行83.4、材料约束97.8则显示材料约束相对突出。头部模型在0.55×代码执行+0.45×材料约束公式下的得分差异,主要源于这两项指标的强弱组合。

与上一同口径run相比,Gemini 3.1 Pro主榜+31.2分,代码执行+20分、材料约束+44.8分;豆包Pro主榜+14.8分,代码执行-5分、材料约束+38.9分;GLM-4.6主榜+14.9分,代码执行+20分、材料约束+8.7分,诚信由pass转为warn。Gemini 2.5 Pro主榜-11.8分,代码执行-28.5分、材料约束+8.7分;GPT-5.5主榜-10.1分,代码执行-5分、材料约束-16.3分。这些变化可能源于题目抽样波动,也可能反映单日真实表现,需后续run复核确认。

异常信号方面,Claude Opus 4.7主榜暴跌-8.2分,GPT-5.5主榜暴跌-10.1分,GPT-o3代码执行暴跌-22.2分,Gemini 2.5 Pro主榜暴跌-11.8分。Smoke作为小样本单日信号,上述异动尚不足以区分偶然波动与模型退化,建议通过多轮复测观察稳定趋势。

主要变化

  • Gemini 3.1 Pro:主榜上升31.2分,代码执行+20分,材料约束+44.8分
  • GLM-4.6:主榜上升14.9分,代码执行+20分,材料约束+8.7分,诚信pass→warn
  • 豆包 Pro:主榜上升14.8分,代码执行-5分,材料约束+38.9分
  • Gemini 2.5 Pro:主榜下降11.8分,代码执行-28.5分,材料约束+8.7分
  • GPT-5.5:主榜下降10.1分,代码执行-5分,材料约束-16.3分

需要关注的信号

  • Claude Opus 4.7:主榜暴跌 -8.2 分
  • GPT-5.5:主榜暴跌 -10.1 分
  • GPT-o3:代码执行暴跌 -22.2 分
  • Gemini 2.5 Pro:主榜暴跌 -11.8 分

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #286 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!