GPT-6 Luna主榜暴跌11.5分,代码执行从100跌至74.3

GPT-6 Luna在今日Smoke评测中主榜得分从87.27分降至75.79分,降幅11.5分。核心驱动因素是代码执行维度从100.00分跌至74.30分,降幅25.7分。

数据拆解:主榜与侧榜的背离

主榜仅由代码执行和材料约束两个维度构成。今日代码执行74.30分、材料约束77.60分,加权后得到75.79分。昨日同一模型代码执行100.00分、材料约束71.70分,主榜87.27分。材料约束反而上升5.9分,但未能抵消代码执行的剧烈下滑。

工程判断从50.00分升至95.50分,任务表达从67.50分升至83.80分。两个侧榜维度均出现大幅提升,与主榜走势完全相反。

可能成因:抽签波动还是真实退化

Smoke评测每日仅10题,每维度2题。单日分数波动在正常范围内。代码执行维度本次出现25.7分跌幅,幅度已超出典型抽签随机区间,提示可能存在模型回答一致性降低的问题。

诚信评级从pass变为warn,是本次评测中唯一新增的门槛信号。该变化与代码执行维度的大幅失分同时出现,指向模型在代码相关任务中可能出现输出不稳定或与约束条件偏离的情况。

代码执行维度本次失分是主榜下跌的唯一决定性因素。

对使用者的具体含义

重度依赖代码执行的团队,需立即降低对GPT-6 Luna的信任等级。74.30分意味着在需要精确代码生成或调试的场景中,模型输出正确率已出现明显下滑。

材料约束维度保持在77.60分,对内容忠实度要求较高的场景仍可继续使用,但需增加人工校验环节。工程判断和任务表达两个侧榜高分,仅在非核心工作流中具有参考价值。

战略判断

本次11.5分主榜下跌主要由代码执行单一维度驱动,且伴随诚信评级降级,属于需要重点关注的信号。侧榜分数大幅上升不能抵消主榜核心能力的下滑。

下一期评测需重点观察代码执行维度是否能回到90分以上区间,以及诚信评级是否恢复pass。若连续两期代码执行维持在80分以下,则可判断模型在该维度出现系统性退化。

目前数据仅支持“单日异常需验证”的结论,不支持“模型整体失效”的判断。建议将GPT-6 Luna从代码重度场景中暂时移除,保留在材料约束为主的轻代码任务中继续观察。


数据来源:赢政指数 (YZ Index) | Run #410 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!