豆包 Pro Smoke 评测 5 维度全缺 0 分异常,API 超时成主因

豆包 Pro 在今日 Smoke 评测中出现 execution、grounding、judgment、integrity、communication 五维度数据完全缺失,主榜排名直接取消。

数据事实:五维度同时无分

得分对比显示,代码执行、材料约束、工程判断、任务表达、主榜全部标记为“- → -(-)”。Smoke 评测每日固定 10 题(每维度 2 题),本次运行中 API 返回超时,导致所有可审计维度与侧榜维度均未生成有效分数。

成因分析:API 超时而非题目波动

单日 10 题快测本身存在抽签波动,但五维度同时缺失的情况超出正常范围。正常波动通常表现为单题得分起伏,而非整个接口层面的超时。提供的对比数据仅记录 API 故障/超时,未显示任何题目作答记录,因此最可能的原因是调用链路中断,而非模型对特定题目的回答能力退化。

执行与材料约束两个主榜维度同时无分,指向底层 API 响应失败,而非工程判断或任务表达的局部问题。

使用者含义:重代码执行团队需立即切换

依赖豆包 Pro 进行代码执行的团队,本次评测无法获得 execution 分数,意味着无法通过 Smoke 结果验证其当日一致性。材料约束敏感的场景同样失去参考依据。开发者应在补跑结果出来前,临时将关键任务迁移至其他已完成评测的模型,避免生产环境因接口不稳定导致任务中断。

  • 代码执行场景:无法确认今日执行正确率,建议暂停自动化脚本调用。
  • 材料约束场景:长文本或指令遵循任务需改用其他可用模型。

战略判断:本次异常不构成退化信号

基于现有得分对比,豆包 Pro 本期缺失属于接口层面事件,而非模型能力下降。稳定性维度衡量的是多次回答同类题目的分数标准差,本次因无分数而无法计算,因此不能将缺失解读为稳定性降低。下一期 Smoke 补跑结果若恢复正常分数,则本次事件可视为单次偶发;若补跑仍缺失,则需关注 API 可用性。

对正在选型的<|eos|>


数据来源:赢政指数 (YZ Index) | Run #260 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!