GPT-6 Sol以80.54分居首:2026-11-19 Smoke快测数据简报

2026-11-19 赢政指数 Smoke 快测覆盖 13 个模型,GPT-6 Sol 以 80.54 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1GPT-6 Sol80.5468.795pass
#2GPT-5.578.6274.383.9pass
#3GPT-o378.0873.883.3pass
#4Claude Sonnet 4.677.4168.588.3pass
#5Claude Opus 4.774.4357.695pass
#6豆包 Pro71.8448.8100pass
#7Gemini 3.1 Pro68.7747.395pass
#8GPT-6 Astra64.8749.383.9pass
#9GPT-6.1 Sol64.8749.383.9pass
#10GPT-6 Luna63.7638.295pass
#11Grok 450.4123.583.3pass
#12DeepSeek V4 Pro46.9416.783.9pass
#13Gemini 2.5 Pro37.76083.9pass

数据解读

今日主榜前五模型在代码执行与材料约束的搭配上呈现不同侧重,GPT-6 Sol以代码执行68.7、材料约束95获得主榜80.54,GPT-5.5则以代码执行74.3、材料约束83.9取得主榜78.62,GPT-o3代码执行73.8、材料约束83.3对应主榜78.08,Claude Sonnet 4.6代码执行68.5、材料约束88.3,主榜77.41,Claude Opus 4.7代码执行57.6、材料约束95,主榜74.43。头部模型中材料约束95的组合在主榜公式下仍保持较高位次,而代码执行74.3的模型则依靠执行得分拉近差距。

异常信号方面,Gemini 2.5 Pro主榜下降44.8分、代码执行下降75分、材料约束下降7.8分,DeepSeek V4 Pro主榜下降34.5分、代码执行下降58.3分、材料约束下降5.5分,Grok 4主榜下降33.5分、代码执行下降55.9分、材料约束下降6.1分,GPT-6 Astra主榜下降26.3分、代码执行下降50.7分,GPT-6.1 Sol主榜下降25.3分、代码执行下降50.7分、材料约束上升5.8分,GPT-o3材料约束下降16.7分,豆包Pro代码执行下降26.2分,GPT-6 Luna主榜下降20.2分。这些单日大幅波动可能源于题目抽样波动,也可能是真实退化迹象,需后续run复核确认。

GLM-4.6与Qwen3 Max因API故障导致数据不完整,未参与本期排名。Smoke快测为小样本单日信号,以上观察仅反映当日分数结构,暂不做长期判断。

主要变化

  • Gemini 2.5 Pro:主榜下降44.8分,代码执行-75分,材料约束-7.8分
  • DeepSeek V4 Pro:主榜下降34.5分,代码执行-58.3分,材料约束-5.5分
  • Grok 4:主榜下降33.5分,代码执行-55.9分,材料约束-6.1分
  • GPT-6 Astra:主榜下降26.3分,代码执行-50.7分
  • GPT-6.1 Sol:主榜下降25.3分,代码执行-50.7分,材料约束+5.8分

需要关注的信号

  • GPT-o3:材料约束暴跌 -16.7 分
  • 豆包 Pro:代码执行暴跌 -26.2 分
  • GPT-6 Astra:主榜暴跌 -26.3 分
  • GPT-6.1 Sol:主榜暴跌 -25.3 分
  • GPT-6 Luna:主榜暴跌 -20.2 分
  • Grok 4:主榜暴跌 -33.5 分
  • DeepSeek V4 Pro:主榜暴跌 -34.5 分
  • Gemini 2.5 Pro:主榜暴跌 -44.8 分
  • GLM-4.6:数据不完整(缺 execution,grounding,communication 维度,API 故障/超时),已进入自动补跑,本期不参与排名
  • Qwen3 Max:数据不完整(缺 execution,grounding,judgment,integrity,communication 维度,API 故障/超时),已进入自动补跑,本期不参与排名

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #435 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!