豆包 Pro以83.94分居首:2026-09-12 Smoke快测数据简报

2026-09-12 赢政指数 Smoke 快测覆盖 10 个模型,豆包 Pro 以 83.94 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1豆包 Pro83.9410064.3pass
#2Qwen3 Max83.599.264.3pass
#3Claude Opus 4.782.299764.3pass
#4GPT-5.582.299764.3pass
#5GPT-o381.0894.864.3pass
#6Grok 476.5896.252.6pass
#7Claude Sonnet 4.676.295.552.6pass
#8Gemini 2.5 Pro76.1173.579.3pass
#9DeepSeek V4 Pro63.277252.6pass
#10Gemini 3.1 Pro58.9154.564.3pass

数据解读

今日 Smoke 快测中,头部模型在代码执行与材料约束的搭配上呈现集中特征。豆包 Pro 主榜 83.94,代码执行 100、材料约束 64.3;Qwen3 Max 主榜 83.5,代码执行 99.2、材料约束 64.3;Claude Opus 4.7 与 GPT-5.5 均为主榜 82.29,代码执行 97、材料约束 64.3;GPT-o3 主榜 81.08,代码执行 94.8、材料约束 64.3。这些模型代码执行分数较高,材料约束维持在 64.3,形成强代码执行搭配中等材料约束的结构。

Gemini 2.5 Pro 主榜 76.11,代码执行 73.5、材料约束 79.3,材料约束相对更强。显著变化中,Gemini 3.1 Pro 主榜-34.6分,代码执行-45.5分,材料约束-21.2分;DeepSeek V4 Pro 主榜-22.8分,代码执行-11.3分,材料约束-36.9分;Qwen3 Max 主榜+12.6分,代码执行+24.2分;GPT-o3 主榜-12.4分,代码执行-5.2分,材料约束-21.2分;Grok 4 主榜-12.1分,材料约束-25.2分。这些信号可能来自题目抽样波动,也可能是真实退化,需后续 run 复核。Smoke 为小样本单日信号,解读保持克制。

主要变化

  • Gemini 3.1 Pro:主榜下降34.6分,代码执行-45.5分,材料约束-21.2分
  • DeepSeek V4 Pro:主榜下降22.8分,代码执行-11.3分,材料约束-36.9分
  • Qwen3 Max:主榜上升12.6分,代码执行+24.2分
  • GPT-o3:主榜下降12.4分,代码执行-5.2分,材料约束-21.2分
  • Grok 4:主榜下降12.1分,材料约束-25.2分

需要关注的信号

  • 本次未保留可发布的异常信号。

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #319 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!