GPT-6 Luna材料约束暴跌15.9分 代码执行却大涨19.7分

GPT-6 Luna在今日Smoke评测中,材料约束得分从87.90分跌至72.00分,降幅15.9分,而代码执行从74.30分升至94.00分,涨幅19.7分,主榜从80.40分升至84.10分。

得分对比与波动特征

代码执行维度昨日74.30分、今日94.00分,材料约束昨日87.90分、今日72.00分,工程判断昨日100.00分、今日75.00分,任务表达昨日66.30分、今日100.00分。主榜得分上升3.7分,诚信评级维持pass。

可能成因分析

Smoke评测每日仅10题,每维度2题,抽签波动是主要解释。材料约束与工程判断同时下降,任务表达大幅上升,表明题目类型分布变化导致不同能力被触发。代码执行大幅提升也支持这一机制:新题目可能更适合该模型的代码生成路径,而材料约束题目可能包含更严格的引用或格式要求。

真实退化可能性较低。主榜得分上升显示整体能力未出现系统性下滑。若模型发生退化,通常多个核心维度会同步走弱,而此处代码执行与任务表达的提升抵消了材料约束的损失。

对使用者的含义

重度依赖材料约束的场景,例如法律合同抽取、学术引用核查、产品规格比对的团队,需在调用GPT-6 Luna时增加人工校验步骤。代码执行表现提升对自动化脚本生成、数据处理流水线有积极影响,这类开发者可优先测试新版本。

工程判断降至75.00分,提示在需要多步决策或架构选择的场景中,模型输出一致性可能降低。任务表达升至100.00分则表明指令遵循能力在当前题目集下表现优异,适合快速原型或对话式任务。

战略判断

基于现有得分对比,此次材料约束下降更可能是单日题目抽签波动,而非模型真实退化。主榜得分上升3.7分的事实支持这一判断。建议下一期Smoke评测重点关注材料约束是否回升,以及工程判断与任务表达的波动幅度。若连续两期材料约束维持在75分以下,再考虑调整选型优先级。

目前数据不构成下调GPT-6 Luna整体评级的理由。开发者可继续使用,但对材料忠实度敏感的场景应保留人工复核流程。


数据来源:赢政指数 (YZ Index) | Run #404 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!