豆包 Pro 在今日 Smoke 评测中,代码执行得分从昨日 75.00 分降至 48.80 分,降幅 26.2 分;材料约束得分从 67.90 分升至 100.00 分,增幅 32.1 分;主榜得分从 71.81 分升至 71.84 分,仅增加 0.03 分。
数据事实:维度得分剧烈反向变动
本次 Smoke 评测共 10 题,每维度 2 题。代码执行维度得分直接决定主榜 50% 权重,材料约束维度同样占 50% 权重。两个核心维度出现 26.2 分与 32.1 分的相反方向变动,导致主榜得分几乎不变。工程判断维度保持 75.00 分不变,任务表达维度从 95.00 分降至 85.00 分,诚信评级维持 pass。
成因分析:题目抽签波动概率更高
Smoke 评测每日仅 2 题覆盖代码执行维度,单题得分权重极高。昨日 75.00 分与今日 48.80 分的差距,最可能源于今日抽中的 2 题对代码执行要求更高,或模型在特定语法或库调用上出现失误。材料约束维度同时升至满分,说明今日题目可能更侧重材料忠实度,而豆包 Pro 在该维度表现稳定。主榜得分仅增加 0.03 分,表明两个维度的反向变动相互抵消,并非模型整体能力出现系统性退化。
若为模型真实退化,通常会伴随多个维度同步下滑,而本次工程判断维度未变,任务表达维度仅降 10 分,变化幅度小于代码执行。综合现有得分对比,题目抽签带来的随机波动是更合理的解释。
对使用者的含义
重度依赖代码执行的团队,在选择豆包 Pro 时需增加冗余验证步骤,尤其在处理复杂算法或多文件项目时。材料约束维度升至 100.00 分,表明该模型在需要严格遵循输入材料的场景(如合同审查、代码注释生成)中表现更可靠。任务表达维度降至 85.00 分,对输出格式要求严格的开发者应额外检查。
战略判断
基于今日得分对比,主榜几乎不变说明豆包 Pro 整体能力未出现明显下滑。代码执行 26.2 分的单日跌幅,属于 Smoke 评测已知的正常波动范围。建议下一期继续追踪同一维度得分,若连续两日代码执行得分低于 55 分,再考虑模型真实退化的可能性。目前无需对豆包 Pro 进行下调评估。
数据来源:赢政指数 (YZ Index) | Run #435 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接