GPT-o3以97.75分居首:2026-08-26 Smoke快测数据简报

2026-08-26 赢政指数 Smoke 快测覆盖 11 个模型,GPT-o3 以 97.75 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1GPT-o397.7510095pass
#2Gemini 2.5 Pro96.19795pass
#3Grok 495.1795.395pass
#4豆包 Pro86.2575100pass
#5Claude Sonnet 4.685.5473.7100pass
#6DeepSeek V4 Pro847595pass
#7Gemini 3.1 Pro847595pass
#8GPT-5.5847595pass
#9Claude Opus 4.779.917585.9pass
#10Qwen3 Max79.1973.785.9pass
#11GLM-4.647.6337.560pass

数据解读

今日赢政指数Smoke快测中,头部模型在代码执行与材料约束的搭配上呈现明显分化。GPT-o3以代码执行100、材料约束95取得主榜97.75,Gemini 2.5 Pro代码执行97、材料约束95对应主榜96.1,Grok 4代码执行95.3、材料约束95对应主榜95.17,三者均在两项指标上保持较高均衡水平。相比之下,豆包Pro代码执行75、材料约束100,主榜86.25,Claude Sonnet 4.6代码执行73.7、材料约束100,主榜85.54,显示材料约束满分但代码执行相对较低的结构特点。

多模型出现显著变化,其中DeepSeek V4 Pro主榜上升27.3分、代码执行上升33.3分、材料约束上升20分,Gemini 2.5 Pro主榜上升21.1分、代码执行上升22分、材料约束上升20分,Gemini 3.1 Pro主榜上升13.6分、代码执行上升8.3分、材料约束上升20分,Grok 4主榜上升11.8分、代码执行上升20.3分,GPT-o3主榜上升11.5分、代码执行上升25分、材料约束下降5分。这些单日变动可能源于题目抽样波动,也可能是模型在特定任务上的真实表现差异,需后续同口径run复核确认。

异常信号方面,豆包Pro代码执行出现暴跌16.7分,其材料约束仍维持100,主榜86.25,此类小样本单日信号需谨慎看待,避免过度解读。

主要变化

  • DeepSeek V4 Pro:主榜上升27.3分,代码执行+33.3分,材料约束+20分
  • Gemini 2.5 Pro:主榜上升21.1分,代码执行+22分,材料约束+20分
  • Gemini 3.1 Pro:主榜上升13.6分,代码执行+8.3分,材料约束+20分
  • Grok 4:主榜上升11.8分,代码执行+20.3分
  • GPT-o3:主榜上升11.5分,代码执行+25分,材料约束-5分

需要关注的信号

  • 豆包 Pro:代码执行暴跌 -16.7 分

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #295 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!