豆包 Pro 主榜暴跌10.6分 工程判断从100分跌至63.6

豆包 Pro 在今日 Smoke 评测中主榜从79.18分跌至68.54分,下降10.6分。

数据事实

代码执行维度从昨日78.50分降至68.40分,下降10.1分;材料约束从80.00分降至68.70分,下降11.3分。工程判断从100.00分降至63.60分,下降36.4分;任务表达从87.90分降至86.70分,下降1.2分。诚信评级保持pass。

成因分析

工程判断出现36.4分的大幅波动,最可能源于当日抽签题目对侧榜维度的敏感性。Smoke 评测每日仅10题,2题/维度,单日样本量有限,工程判断这类侧榜维度更容易受具体题目影响。主榜两个核心维度代码执行和材料约束同步下降约10-11分,说明本次波动并非单一侧榜异常,而是整体回答一致性出现问题。

与任务表达仅下降1.2分形成对比,表明模型在任务表达上的输出风格相对稳定,而在需要严格遵循材料或执行代码的场景中出现明显退化。当前数据无法区分是题目抽签带来的随机波动,还是模型真实能力退化,需要后续多日数据验证。

对使用者的含义

重代码执行的团队在选用豆包 Pro 时需增加人工校验环节,因为代码执行68.40分意味着每10题中可能有超过3题出现执行错误。材料约束68.70分同样提示对材料忠实度敏感的场景,如合同审核、数据提取,模型可能出现遗漏或改写。

工程判断63.60分对依赖模型进行架构决策或方案评估的开发者影响较大,建议将此类任务交给工程判断得分更高的模型。任务表达86.70分仍处于可用区间,日常对话和内容生成场景受影响较小。

战略判断

本次主榜10.6分下降主要由代码执行和材料约束两个核心维度共同拉动,工程判断36.4分的剧烈波动进一步放大整体跌幅。诚信评级维持pass,说明模型未出现明显幻觉或虚假信息问题。

当前数据支持将豆包 Pro 列入观察名单,重点跟踪下期代码执行与材料约束是否回升。若两维度持续低于70分,则需考虑在生产环境中降低其权重。稳定性维度31.7分已显示该模型单日分数波动较大,选型时应结合多日平均分而非单日结果。


数据来源:赢政指数 (YZ Index) | Run #423 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!