Grok 4代码执行暴跌15.8分 主榜仅降1.1分

Grok 4在今日Smoke评测中,代码执行得分从94.00分跌至78.20分,降幅15.8分,材料约束得分从71.40分升至88.30分,升幅16.9分,主榜得分从83.83分降至82.75分,降幅仅1.1分。

数据事实:主榜与侧榜的分离走势

本次Smoke评测仅包含10题,代码执行与材料约束为可审计主榜维度。代码执行单日损失15.8分,材料约束同期获得16.9分补偿,两者相抵后主榜净损失1.1分。工程判断从75.00分跌至22.20分,任务表达从100.00分跌至70.40分,两个侧榜维度降幅均超过29分。诚信评级保持pass,未触发门槛。

成因分析:题目抽签波动还是模型真实退化

Smoke评测每日仅2题/维度,样本量极小,单日分数标准差天然较高。代码执行与材料约束呈现近乎镜像的反向变动,提示本次波动最可能源于题目抽签的随机性,而非模型能力结构发生系统性退化。若为真实退化,通常会伴随多个主榜维度同向下降,而非一升一降的互补模式。

工程判断与任务表达侧榜同时出现大幅下滑,同样指向题目难度或类型分布的集中偏移。侧榜题目可能包含更多需要长链推理或格式严格的任务,而当日抽中的代码执行题目恰好暴露了模型在特定约束下的执行不稳定。

对使用者的含义

重度依赖代码执行的开发者团队需注意,单日78.20分已低于前一日94.00分水平,在需要高一致性代码生成的场景中,应增加人工复核环节。对材料约束敏感的RAG或文档处理场景则获得正面信号,88.30分显示当日模型对输入材料的忠实度有所提升。

工程判断与任务表达侧榜的剧烈波动,对需要稳定输出格式或工程决策的自动化流程构成潜在风险。依赖Grok 4进行多轮迭代的开发者,应在关键路径上保留人工校验节点,避免侧榜波动直接传导至最终交付物。

战略判断:是否需要持续关注

本次主榜仅降1.1分,核心能力未出现系统性崩塌。代码执行与材料约束的反向变动,更符合小样本抽签波动特征,而非模型权重或对齐策略的实质改变。建议下一期Smoke评测重点观察代码执行是否回升至90分区间,若连续两期维持在80分以下,再考虑启动更大样本的专项验证。

目前数据不支持将Grok 4整体能力下调的结论。选型企业可继续将其作为候选模型,但需在代码执行密集场景设置冗余验证机制。稳定性维度未在本期提供数据,无法据此判断长期一致性。


数据来源:赢政指数 (YZ Index) | Run #405 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!