豆包Pro材料约束暴跌20.5分 代码执行却飙升25

豆包Pro在今日Smoke评测中,材料约束得分从昨日100.00降至79.50,降幅20.5分,主榜得分则从86.25升至90.78。

得分变化细节

代码执行从75.00升至100.00,涨幅25分。工程判断从100.00降至75.00,降幅25分。任务表达从91.70升至95.00,涨幅3.3分。诚信评级维持pass。

数据事实拆解

Smoke评测每日仅10题,每维度2题。材料约束单日损失20.5分,工程判断损失25分,两者合计拉低侧榜表现。但代码执行满分直接拉高主榜4.5分,显示维度间得分存在明显抵消。

可能成因分析

题目抽签波动是首要解释。每日2题材料约束题目若涉及更高难度或更严格的引用要求,模型在忠实度上失分就会放大。工程判断同样出现25分下滑,提示当日题目可能同时考察了多步推理与约束遵守的结合场景。

模型真实退化可能性较低。代码执行从75.00直接满分,表明核心能力未出现系统性下降。任务表达反而小幅上升,整体主榜得分仍为正向。

对使用者的含义

重代码执行的团队可继续使用豆包Pro,今日100.00分表现显示其在该维度已达满分水准。对材料忠实度敏感的场景,如合同抽取、政策引用、学术写作,79.50分水平意味着需增加人工校验环节。

工程判断75.00分提示复杂决策链任务中,模型可能在约束条件下出现判断偏差,依赖该能力的开发者应准备备选方案或二次验证流程。

战略判断

单日材料约束与工程判断同时下滑,结合代码执行大幅上升,指向题目抽签波动概率更高,而非模型能力退化。主榜得分上升掩盖了侧榜问题,若下一期材料约束仍低于85分,则需重点验证一致性。

目前数据不支持“持续退化”结论,但工程判断25分跌幅与材料约束20.5分跌幅同时出现,属于值得下期追踪的信号。建议在连续三次Smoke评测中观察材料约束标准差,若超过15分,则考虑调整使用策略。

总体而言,豆包Pro今日表现呈现明显维度分化,主榜受益于代码执行满分,材料约束与工程判断的下滑更可能是抽签所致。重材料约束场景的使用者需提高警惕,持续跟踪后续得分以确认是否为偶然波动。


数据来源:赢政指数 (YZ Index) | Run #297 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!