豆包 Pro 主榜暴跌12.6分 代码执行单日跌25分

豆包 Pro 在今日 Smoke 评测中主榜得分从94.74分降至82.16分,代码执行维度从100.00分跌至75.00分。

得分对比数据

昨日到今日的具体变化为:代码执行100.00分→75.00分(-25分),材料约束88.30分→90.90分(+2.6分),工程判断75.00分→75.00分(0分),任务表达91.70分→90.00分(-1.7分),主榜整体94.74分→82.16分(-12.6分)。诚信评级维持pass。

数据事实拆解

Smoke 评测每日仅2题/维度,共10题。代码执行维度单日损失25分,直接拉低主榜12.6分。材料约束反而上升2.6分,说明模型在该维度两题中表现有所提升。工程判断与任务表达变化幅度均在2分以内,属于正常范围。

成因分析

此次下跌最可能源于题目抽签波动。Smoke 评测样本量极小,两道代码执行题的难度或具体要求差异即可造成25分落差。材料约束得分上升,表明模型本身未出现系统性退化。工程判断零变化进一步支持波动而非能力下降的判断。

对使用者的含义

重代码执行的团队需注意,单日 Smoke 结果可能放大抽样误差,建议连续多日观察再做选型决定。对材料忠实度敏感的场景,豆包 Pro 今日90.90分表现反而优于昨日,可作为参考依据。

战略判断

单日12.6分主榜下滑主要由代码执行两题决定,不构成模型真实退化的充分证据。需要下期验证的信号是:若连续两日代码执行均低于85分,则需重新评估其代码能力稳定性。目前数据仅显示正常抽样波动。

综合全部维度,豆包 Pro 今日表现仍处于可用区间,诚信评级pass,未触发任何准入警示。开发者可继续使用,但应将代码执行任务的测试样本扩大至至少10题以上,以降低单日波动影响。


数据来源:赢政指数 (YZ Index) | Run #283 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!