GPT-6.1 Sol材料约束暴跌29.1分 代码执行反升19.5分

GPT-6.1 Sol在今日Smoke评测中材料约束得分从89.80分跌至60.70分,降幅29.1分,代码执行得分则从75.00分升至94.50分,主榜得分从81.66分降至79.29分。

核心维度对比数据

主榜仅由代码执行与材料约束两个可审计维度构成。今日材料约束60.70分与昨日89.80分相比,单日降幅29.1分;代码执行94.50分与昨日75.00分相比,单日升幅19.5分。两者加权后主榜净降2.4分。工程判断从100.00分降至75.00分,任务表达从87.50分降至85.00分,诚信评级维持pass。

波动成因分析

Smoke评测每日仅10题,每维度2题,样本量极小。材料约束单日29.1分跌幅与代码执行19.5分涨幅同时出现,最可能源于题目抽签的随机分布,而非模型参数发生系统性退化。材料约束题目若集中于需要严格引用给定材料且禁止外部知识的场景,模型一次失误即可能拉低该维度整体得分。代码执行题目若恰好落在模型擅长的算法或调试题型,则得分自然上升。两种维度反向运动,进一步支持抽签波动解释。

材料约束60.70分与代码执行94.50分的反差,指向题目内容而非模型能力本身出现结构性变化。

对使用者的具体含义

对重度依赖材料忠实度的企业团队而言,GPT-6.1 Sol今日60.70分的材料约束表现意味着在需要严格遵循输入文档、禁止幻觉的场景下,单次调用风险显著上升。代码执行94.50分则显示该模型在纯编程任务上仍保持较高可用性。依赖工程判断的开发者需注意其侧榜75.00分,提示在需要架构决策或权衡的环节,模型输出一致性可能低于预期。

战略判断

基于当前数据,GPT-6.1 Sol主榜79.29分仍处于可用区间,但材料约束单日29.1分波动已超过正常抽签可解释范围的边界。下一期Smoke评测若材料约束继续低于70分,则需考虑模型真实退化可能;若回升至80分以上,则可判定今日为孤立抽签事件。工程判断侧榜75.00分与材料约束60.70分同步走低,值得在下期重点验证两者是否存在共同机制。

诚信评级维持pass,说明模型未出现系统性造假或回避回答问题的情况。稳定性维度未提供本次具体数值,无法据此判断回答一致性。整体而言,今日数据最直接的信号是材料约束维度对小样本题目高度敏感,使用者应在关键任务中增加人工复核环节。


数据来源:赢政指数 (YZ Index) | Run #414 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!