GPT-6 Astra代码执行暴跌25分 主榜单日跌11.3分

GPT-6 Astra在今日Smoke评测中主榜得分从82.33分跌至71.01分,代码执行维度从97.00分直接跌至72.00分。

数据事实

Smoke评测每日固定10题,每维度2题。今日代码执行维度得分72.00分,较昨日97.00分下降25分;材料约束维度从64.40分升至69.80分,上升5.4分;工程判断与任务表达两项侧榜维度保持75.00分与100.00分不变;诚信评级维持pass。主榜加权结果因此下降11.3分。

代码执行维度单日跌幅远超材料约束维度的升幅,导致主榜整体回落。工程判断与任务表达未出现波动,说明模型在侧榜能力上保持稳定。

可能成因分析

Smoke评测题目每日抽签,2题样本量较小,单日分数波动属于正常范围。代码执行维度今日出现大幅回落,最可能的原因是抽中题目对模型代码生成或调试能力要求更高,模型在这些具体题目上未能给出正确解法。

材料约束维度小幅上升,显示模型在引用约束与忠实度方面未出现系统性问题。工程判断与任务表达保持原分,说明模型整体架构与表达能力未受本次抽签影响。

若本次回落仅由题目难度导致,则属于统计波动;若连续多日同维度出现类似低分,则可能指向模型真实退化。目前仅单日数据,无法区分两者。

使用者含义

重度依赖代码执行的开发团队需注意,GPT-6 Astra在代码生成场景下的稳定性出现明显波动。今日72.00分意味着在同类代码任务中,模型正确率可能显著低于昨日97.00分对应的水平。

对材料约束敏感的文档生成或知识提取场景影响较小,因为该维度得分反而上升。工程判断与任务表达保持满分或高分,适合需要结构化输出与判断的任务。

企业选型时,需将代码执行维度的单日波动纳入风险评估,尤其在自动化测试或脚本生成流水线中,建议增加人工复核环节。

战略判断

代码执行维度25分跌幅已超过正常抽签波动阈值,值得下期Smoke评测重点验证。若下一日该维度回升至90分以上,则本次回落更可能归因于题目抽签;若持续低于80分,则需考虑模型真实能力变化。

主榜11.3分回落主要由代码执行单一维度驱动,其他维度未出现同步恶化,说明模型整体并未全面退化。工程判断与任务表达的零波动进一步印证了这一点。

对于依赖代码执行的核心用户,当前数据提示需暂时降低对GPT-6 Astra的信任度,优先观察后续两日同一维度的得分变化,再决定是否调整生产环境配置。


数据来源:赢政指数 (YZ Index) | Run #387 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!