GPT-o3以94.51分居首:2026-10-17 Smoke快测数据简报

2026-10-17 赢政指数 Smoke 快测覆盖 14 个模型,GPT-o3 以 94.51 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1GPT-o394.5110087.8pass
#2Grok 488.6991.785pass
#3Gemini 3.1 Pro87.7610072.8pass
#4GPT-6 Sol87.3110071.8pass
#5DeepSeek V4 Pro86.510070pass
#6Claude Opus 4.7847595pass
#7GPT-6.1 Sol82.6383.381.8pass
#8GPT-6 Luna80.2570.891.8pass
#9GPT-5.579.57585pass
#10GPT-6 Astra78.1383.371.8pass
#11Gemini 2.5 Pro76.7394.555pass
#12Claude Sonnet 4.675.97577pass
#13豆包 Pro69.0483.351.6pass
#14GLM-4.662.4541.787.8warn

数据解读

今日赢政指数Smoke快测中,头部模型在代码执行与材料约束的搭配上呈现明显分化。GPT-o3以代码执行100、材料约束87.8取得主榜94.51,Grok 4则依靠代码执行91.7与材料约束85的均衡组合获得主榜88.69,Gemini 3.1 Pro与GPT-6 Sol均以代码执行100但材料约束分别为72.8和71.8位列第三、四。Claude Opus 4.7反向突出材料约束95而代码执行75,主榜84。DeepSeek V4 Pro同样代码执行100、材料约束70,主榜86.5。这些结构显示高代码执行模型若材料约束不足,主榜排名会受到0.45权重制约。

显著变化模型中,GLM-4.6主榜上升35.7分,代码执行上升16.7分、材料约束上升58.9分,诚信从pass转为warn;GPT-6 Sol主榜上升34.3分,代码执行上升55.2分;GPT-o3主榜上升33.8分,代码执行上升61.7分;Gemini 3.1 Pro主榜上升18.1分,代码执行上升45.5分但材料约束下降15.3分。异常信号方面,Gemini 3.1 Pro材料约束暴跌15.3分、DeepSeek V4 Pro暴跌18.1分、GPT-6 Astra暴跌16.3分、Gemini 2.5 Pro暴跌22.6分,以及豆包 Pro主榜暴跌16.1分,均可能源于单日小样本抽样波动或临时表现退化,需后续同口径run复核确认。

整体来看,Smoke快测作为小样本单日信号,仅反映当日14个模型在代码执行与材料约束两项的即时搭配,未提供长期稳定性判断。Qwen3 Max因API故障数据不完整,未参与排名。

主要变化

  • GLM-4.6:主榜上升35.7分,代码执行+16.7分,材料约束+58.9分,诚信pass→warn
  • GPT-6 Sol:主榜上升34.3分,代码执行+55.2分,材料约束+8.7分
  • GPT-o3:主榜上升33.8分,代码执行+61.7分
  • Gemini 3.1 Pro:主榜上升18.1分,代码执行+45.5分,材料约束-15.3分
  • GPT-5.5:主榜上升17分,代码执行+28分

需要关注的信号

  • Gemini 3.1 Pro:材料约束暴跌 -15.3 分
  • DeepSeek V4 Pro:材料约束暴跌 -18.1 分
  • GPT-6 Astra:材料约束暴跌 -16.3 分
  • Gemini 2.5 Pro:材料约束暴跌 -22.6 分
  • 豆包 Pro:主榜暴跌 -16.1 分
  • Qwen3 Max:数据不完整(缺 execution,grounding,judgment,integrity,communication 维度,API 故障/超时),已进入自动补跑,本期不参与排名

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #382 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!