GPT-6 Luna代码执行暴跌24.1分 材料约束反升32分

GPT-6 Luna在今日Smoke评测中代码执行得分从昨日99.10分降至75.00分,材料约束得分从62.80分升至94.80分,主榜得分从82.77分升至83.91分。

得分变化事实

代码执行维度昨日99.10分、今日75.00分,单日下降24.1分。材料约束维度昨日62.80分、今日94.80分,单日上升32分。工程判断(侧榜,AI辅助评估)从100.00分降至63.90分,任务表达(侧榜,AI辅助评估)从100.00分降至83.80分。主榜得分昨日82.77分、今日83.91分,上升1.1分。诚信评级维持pass。

可能成因分析

Smoke评测每日仅10题,2题/维度,样本量小导致题目抽签波动是主要机制。代码执行与材料约束出现方向相反的大幅变化,表明当日抽到的代码执行题目难度或类型与昨日差异显著,而材料约束题目则相对容易。工程判断与任务表达同时下降,但两者均为侧榜维度,不直接影响主榜计算。主榜得分仅微升,说明两个核心可审计维度的升降相互抵消后整体稳定。

没有连续多日数据支持模型真实退化结论,单日对立变化更符合随机抽样特征,而非模型能力系统性下降。

对使用者的含义

重代码执行的团队在当日任务中可能遇到更高失败率,需要准备备用方案或人工复核。材料约束敏感的场景如文档生成、引用核查,则可能获得更好表现。依赖主榜排名的选型企业可继续观察,因为主榜得分未出现实质下滑。

战略判断

基于现有单日数据,GPT-6 Luna主榜得分保持稳定,代码执行暴跌更可能是题目抽签结果而非模型退化信号。下一期评测需验证代码执行是否回升至90分以上,若连续两日低于80分则值得进一步关注。工程判断侧榜大幅波动不改变主榜结论。

总体而言,当期数据不支持对GPT-6 Luna代码执行能力下调长期评估,建议继续跟踪后续Smoke评测的维度一致性。


数据来源:赢政指数 (YZ Index) | Run #432 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!