Qwen3 Max Smoke测试5维度全空:API故障致数据缺失,本期排名直接缺席

Qwen3 Max在今日Smoke评测中出现execution、grounding、judgment、integrity、communication五维度数据完全缺失,API故障/超时是直接原因,已触发自动补跑且本期不参与主榜排名。

数据事实:五维度得分对比全为缺失

得分对比表格显示,代码执行、材料约束、工程判断、任务表达以及主榜全部呈现“- → -(-)”状态,表明本次评测未能获得任何可审计的有效回答记录。Smoke评测每日仅10题,单日波动属于正常范围,但五维度同时无数据的情况超出常规抽签波动。

成因分析:API故障而非题目抽签波动

题目抽签波动通常仅影响个别维度得分,而本次五维度同时缺失且明确标注“API故障/超时”,指向外部调用链路中断而非模型内部能力退化。自动补跑机制已启动,说明系统判定本次结果不可用。无证据显示模型在代码执行或材料约束上出现系统性退化,故障更可能集中在API响应超时环节。

对使用者的含义

重代码执行的团队在生产环境中依赖Qwen3 Max时,需增加API健康检查与超时重试机制,避免单次调用失败导致任务中断。对材料忠实度敏感的场景,开发者应在关键流程中加入人工校验节点,防止因评测数据缺失而低估潜在风险。

  • 企业选型时可将Qwen3 Max列为备选,但需同步准备备用模型以应对偶发API故障。
  • 依赖该模型的开发者应监控连续多日Smoke评测结果,确认故障是否在补跑后恢复。

战略判断

基于当前得分对比,Qwen3 Max本次异常由API故障导致,而非模型真实退化,暂无需下调对其能力的评估。下一期Smoke评测结果将提供关键验证信号,若补跑后五维度恢复正常得分,则本次事件可视为孤立故障;若持续缺失,则需进一步排查调用链路稳定性。

本次事件提醒所有使用Smoke评测结果进行模型选型的团队,单日数据缺失属于系统可观测信号,应结合自动补跑状态综合判断,而非直接视为模型能力问题。


数据来源:赢政指数 (YZ Index) | Run #394 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!