GPT-o3以96.93分居首:2026-08-18 Smoke快测数据简报

2026-08-18 赢政指数 Smoke 快测覆盖 10 个模型,GPT-o3 以 96.93 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1GPT-o396.9398.595pass
#2Claude Opus 4.793.6610085.9pass
#3Grok 491.9596.985.9pass
#4Claude Sonnet 4.691.8110081.8pass
#5GPT-5.590.610079.1pass
#6Qwen3 Max86.9895.376.8pass
#7豆包 Pro82.167590.9pass
#8Gemini 2.5 Pro79.917585.9pass
#9Gemini 3.1 Pro71.1951.795pass
#10DeepSeek V4 Pro70.255095pass

数据解读

今日主榜前五模型中,GPT-o3以代码执行98.5与材料约束95的均衡搭配取得96.93分,Claude Opus 4.7则依靠代码执行100与材料约束85.9的组合位列第二。Claude Sonnet 4.6同样代码执行100但材料约束81.8,GPT-5.5代码执行100材料约束79.1,显示头部模型在代码执行维度普遍保持高位,而材料约束得分差异成为区分主榜排名的主要因素。豆包Pro代码执行75材料约束90.9、Gemini 3.1 Pro代码执行51.7材料约束95、DeepSeek V4 Pro代码执行50材料约束95的结构,则体现出材料约束相对更强的特点。

Gemini 2.5 Pro主榜上升24.2分、代码执行上升50分,DeepSeek V4 Pro主榜上升19分、代码执行上升25分、材料约束上升11.7分,Claude Sonnet 4.6主榜上升8.6分、代码执行上升25分,这些变化可能源于单日题目抽样波动,也可能是模型在特定维度上的真实表现起伏,需后续同口径run复核确认。Qwen3 Max主榜暴跌-8.4分、豆包Pro主榜暴跌-12.6分、Gemini 3.1 Pro主榜暴跌-12.1分,同样存在抽样波动与真实退化两种可能解释,本期Smoke数据仅为小样本单日信号,不做长期判断。

GLM-4.6因API故障导致数据不完整,本期未参与排名。整体来看,各模型代码执行与材料约束的强弱搭配直接影响主榜得分,异常信号均需进一步run验证以排除偶然因素。

主要变化

  • Gemini 2.5 Pro:主榜上升24.2分,代码执行+50分,材料约束-7.4分
  • DeepSeek V4 Pro:主榜上升19分,代码执行+25分,材料约束+11.7分
  • 豆包 Pro:主榜下降12.6分,代码执行-25分
  • Gemini 3.1 Pro:主榜下降12.1分,代码执行-23.3分
  • Claude Sonnet 4.6:主榜上升8.6分,代码执行+25分,材料约束-11.5分

需要关注的信号

  • Qwen3 Max:主榜暴跌 -8.4 分
  • 豆包 Pro:主榜暴跌 -12.6 分
  • Gemini 3.1 Pro:主榜暴跌 -12.1 分
  • GLM-4.6:数据不完整(缺 execution 维度,API 故障/超时),已进入自动补跑,本期不参与排名

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #283 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!