DeepSeek V4 Pro主榜暴跌11.9分 代码执行掉13.3

DeepSeek V4 Pro在今日Smoke评测中主榜得分从昨日93.84分跌至81.93分,降幅达到11.9分。

核心数据对比

代码执行维度从100.00分降至86.70分,降幅13.3分;材料约束维度从86.30分降至76.10分,降幅10.2分。工程判断维度维持75.00分不变,任务表达维度维持95.00分不变,诚信评级保持pass。

分数变化的可能成因

Smoke评测每日仅10题,每维度2题,单日抽签波动属于正常范围。此次代码执行与材料约束同时出现明显下降,而侧榜两个维度零波动,表明问题集中在主榜可审计维度。代码执行失分可能源于今日抽中的2道题目涉及更复杂的多步推理或边缘用例,材料约束失分则可能与题目中出现的长上下文引用或格式限制相关。现有数据未显示模型参数或训练发生变化,因此更可能是题目抽签带来的分数波动,而非模型真实退化。

对使用者的具体含义

重度依赖代码执行的团队需在今日及后续几天内对DeepSeek V4 Pro生成的代码进行额外人工复核,尤其是在自动化测试或生产脚本场景。材料约束敏感的场景(如法律合同生成、长文档摘要)也应提高校验频率,避免因格式或引用偏差导致下游错误。工程判断与任务表达保持稳定的团队可继续按原计划使用该模型,不必立即调整工作流。

战略判断

单日11.9分跌幅在Smoke评测历史波动范围内,但连续两天以上主榜核心维度同时失分的情况值得下期重点验证。若明日代码执行与材料约束回升至90分以上,则本次变化更可能归因于抽签随机性;若持续低于85分,则需考虑模型在特定题型上的稳定性问题。当前数据不支持对DeepSeek V4 Pro进行全面降级判断,但提醒依赖其代码执行能力的用户短期内提高冗余校验。


数据来源:赢政指数 (YZ Index) | Run #235 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!