GPT-6 Luna Smoke评测主榜暴跌19.8分 代码执行从100直降75

GPT-6 Luna在今日Smoke评测中主榜得分从86.95分降至67.17分,单日下降19.8分。

核心维度得分变化

代码执行维度从昨日100.00分降至75.00分,下降25分;材料约束维度从71.00分降至57.60分,下降13.4分;工程判断维度维持100.00分;任务表达从87.50分降至75.00分,下降12.5分。诚信评级保持pass。

得分下降的可能机制

Smoke评测每日仅10题,2题对应一个维度,题目抽签随机性可能导致单日分数波动。代码执行维度本次下降25分,材料约束下降13.4分,两者合计贡献主榜19.8分降幅。工程判断维度未出现变化,表明模型在该侧榜能力上保持稳定。

从维度构成看,代码执行与材料约束是主榜仅有的两个可审计维度。本次两维度同时下降,说明模型在处理具体代码任务和材料忠实度约束时出现更多扣分点。任务表达侧榜下降12.5分,进一步显示模型输出在任务指令遵循上出现波动。

对使用者的具体含义

重代码执行的团队在今日评测中面临更高风险。代码执行维度从100.00分降至75.00分,意味着模型在生成可执行代码或完成编程任务时出现更多错误。依赖材料约束的场景同样受影响,材料约束从71.00分降至57.60分,说明模型在严格遵循输入材料时出现更多偏离。

工程判断维度保持100.00分,对需要工程判断辅助的开发者影响较小。诚信评级维持pass,模型在基础合规性上未出现问题。

战略判断

本次主榜19.8分降幅主要由代码执行维度25分下降驱动。单日Smoke评测题目数量有限,当前数据不足以区分题目抽签波动与模型真实退化。工程判断维度零变化显示模型部分能力仍保持稳定。

对选型企业而言,需在后续多日评测中观察代码执行与材料约束两个主榜维度是否持续低于昨日水平。若两维度分数在下一期评测中回升,则本次下降更可能源于题目随机性;若持续走低,则需重新评估模型在代码与材料约束场景的适用性。

基于现有得分对比,GPT-6 Luna在代码执行场景的稳定性值得下期验证。材料约束维度13.4分降幅同样需要持续跟踪,以确认其对依赖材料忠实度的应用的影响程度。


数据来源:赢政指数 (YZ Index) | Run #401 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!