GPT-o3以77.45分居首:2026-09-17 Smoke快测数据简报

2026-09-17 赢政指数 Smoke 快测覆盖 10 个模型,GPT-o3 以 77.45 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1GPT-o377.457284.1pass
#2Gemini 2.5 Pro77.3573.781.8pass
#3Claude Sonnet 4.676.417281.8pass
#4GPT-5.575.269.881.8pass
#5豆包 Pro70.1973.765.9pass
#6Claude Opus 4.766.764790.9pass
#7Gemini 3.1 Pro66.764790.9pass
#8Grok 465.567.363.3pass
#9Qwen3 Max54.662590.9pass
#10DeepSeek V4 Pro47.845045.2pass

数据解读

从今日主榜数据看,GPT-o3以代码执行72、材料约束84.1的搭配获得77.45分,Gemini 2.5 Pro则以代码执行73.7、材料约束81.8取得77.35分,二者均呈现代码与材料相对均衡的结构。Claude Sonnet 4.6同样以代码执行72、材料约束81.8拿到76.41分,头部模型在两项指标上均保持较高水准,未出现明显单一短板。

与上一同口径run相比,Qwen3 Max主榜下降25.9分,其中代码执行下降43.8分;Claude Sonnet 4.6主榜下降23.6分,代码执行下降28分、材料约束下降18.2分;DeepSeek V4 Pro主榜下降19.6分,材料约束下降49.8分。这些变化可能源于题目抽样波动,也可能是模型在特定任务上的真实表现起伏,需后续run复核确认。

Smoke测试为小样本单日信号,当前数据仅反映当日10题结果,Claude Opus 4.7与Gemini 3.1 Pro均以代码执行47、材料约束90.9并列66.76分,Grok 4主榜65.5分,整体结构差异仍需更多样本观察。

主要变化

  • Qwen3 Max:主榜下降25.9分,代码执行-43.8分
  • Claude Sonnet 4.6:主榜下降23.6分,代码执行-28分,材料约束-18.2分
  • DeepSeek V4 Pro:主榜下降19.6分,代码执行+5.2分,材料约束-49.8分
  • Claude Opus 4.7:主榜下降17.2分,代码执行-28分
  • Grok 4:主榜下降15.9分,材料约束-31.7分

需要关注的信号

  • 本次未保留可发布的异常信号。

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #327 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!