豆包 Pro 主榜暴跌8分:代码执行94.5→45.8,材料约束47.6→89.3

豆包 Pro 在今日 Smoke 评测中主榜得分从昨日73.40分降至65.38分,降幅8.02分。代码执行维度从94.50分跌至45.80分,降幅48.70分;材料约束维度从47.60分升至89.30分,增幅41.70分;工程判断从75.00分升至95.50分,增幅20.50分;任务表达保持100.00分不变;诚信评级维持pass。

数据事实拆解

主榜由代码执行与材料约束两个维度加权构成。今日代码执行得分直接拉低主榜,而材料约束的同步上升仅部分抵消降幅。工程判断与任务表达不计入主榜,但其变化显示模型在侧榜维度表现分化。所有数值均来自当日10题快测(每维度2题)。

成因分析:抽样波动还是真实退化

Smoke 评测每日仅2题/维度,样本量极小,单题得分权重高。代码执行维度从94.50分跌至45.80分,最可能原因是今日抽中的2道代码题恰好命中模型弱点,导致单题失分严重。材料约束维度同期上升41.70分,说明同一批题目中模型对材料忠实度的表现反而更好。工程判断提升20.50分同样指向题目抽签带来的随机性,而非模型能力整体退化。任务表达连续两日满分,进一步印证波动集中在特定维度。

若为真实退化,通常会伴随多维度同步下滑或诚信评级变化,但今日诚信评级仍为pass,且材料约束与工程判断均有明显提升。因此,当前数据更支持题目抽签波动解释。

对使用者的具体含义

重度依赖代码执行的团队需注意:今日45.80分显示,在特定编程任务上,豆包 Pro 可能出现大幅失误。建议在生产环境部署前增加本地代码测试环节,避免直接信任单次输出。材料约束得分89.30分则表明,该模型在需要严格遵循输入文档的场景(如合同审查、报告生成)中表现更稳定,适合此类任务优先选用。

工程判断95.50分对需要模型辅助架构决策的开发者友好,但因侧榜属性,实际使用仍需人工复核。任务表达满分意味着日常对话与需求表述环节风险较低。

战略判断

单日8分主榜波动在小样本快测中属于正常范围,但代码执行48.70分的极端降幅值得下期持续验证。若明日代码执行得分回升至80分以上,则基本可判定为抽样偶然;若连续两日低于60分,则需考虑模型在代码相关训练数据上的潜在问题。材料约束与代码执行的反向波动也提示,未来评测可关注两维度题目难度的相关性。

基于现有数据,豆包 Pro 主榜短期承压主要来自代码执行抽签失利,而非整体能力下滑。选型企业应在代码重度场景增加冗余验证,在材料忠实场景可适度提高使用优先级。


数据来源:赢政指数 (YZ Index) | Run #427 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!