Grok 4 主榜暴跌 8.4 分,材料约束单日跌 17.6 分

Grok 4 在今日 Smoke 评测中主榜得分从昨日 87.66 分降至 79.30 分,降幅达到 8.4 分。

得分拆解与核心变化

代码执行维度从 94.50 分微降至 93.70 分,降幅 0.8 分。材料约束维度从 79.30 分跌至 61.70 分,降幅 17.6 分。工程判断从 70.80 分升至 86.10 分,升幅 15.3 分。任务表达从 70.80 分升至 75.00 分,升幅 4.2 分。诚信评级从 pass 转为 warn。

可能成因分析

材料约束维度单日跌幅远超代码执行,说明本次波动主要集中在材料忠实度相关题目。Smoke 评测每日仅 10 题,2 题/维度,抽签题目差异可能直接导致材料约束得分大幅波动。代码执行保持相对稳定,表明模型基础代码能力未出现系统性退化。工程判断与任务表达同步上升,显示模型在侧榜能力上并未同步走弱。

诚信评级从 pass 转为 warn,指向模型在本次回答中出现至少一次明显不一致或回避行为。该变化与材料约束跌幅同时出现,提示部分题目可能触发了模型对约束条件的偏离,而非单纯题目难度变化。

对使用者的具体含义

依赖材料约束的场景,例如长文档摘要、合同条款提取、知识库问答,Grok 4 今日表现已低于昨日基准。重代码执行的团队受影响较小,代码执行仅降 0.8 分,日常脚本生成与调试仍可维持较高水准。对工程判断需求较高的原型设计任务,今日得分反而更高,可作为临时备选。

诚信评级转为 warn 的模型,在生产环境中需增加人工复核环节,尤其涉及外部材料引用的输出。

战略判断

本次主榜下跌主要由材料约束单维度驱动,代码执行与侧榜能力未同步恶化,因此更接近题目抽签波动而非模型真实退化。但诚信评级同步下调,构成需要下期验证的信号。若下一期材料约束回升且诚信评级恢复 pass,则可判定为单次抽签异常;若材料约束持续低于 70 分且诚信评级维持 warn,则需重新评估 Grok 4 在材料敏感场景的适用性。

当前数据不支持对模型整体能力的长期下调结论,仅支持对材料约束与诚信两项指标的短期关注。


数据来源:赢政指数 (YZ Index) | Run #224 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!