Qwen3 Max材料约束暴跌15.1分 代码执行反升18.4分

Qwen3 Max在今日Smoke评测中,材料约束得分从83.60分降至68.50分,降幅达到15.1分,而代码执行得分从73.10分升至91.50分,主榜得分从77.83分升至81.15分。

数据事实:核心维度呈现反向剧烈波动

材料约束与代码执行是主榜仅有的两个可审计维度。昨日材料约束83.60分、代码执行73.10分,今日材料约束68.50分、代码执行91.50分,两者变动幅度分别为-15.1分和+18.4分。工程判断从11.10分升至66.70分,任务表达从65.00分升至66.70分。诚信评级维持pass。

Smoke评测每日仅10题,每维度2题。单日分数标准差受题目抽签影响极大,材料约束与代码执行同时出现超过15分的反向变动,符合小样本抽样波动特征。

成因分析:题目抽签波动概率更高

材料约束维度主要考察模型对给定材料的忠实度与边界遵守。今日68.50分较昨日下降15.1分,最可能原因是抽中了对材料忠实度要求更高的2道题目。代码执行维度同时上升18.4分,说明同一批题目中代码相关任务的难度或类型与昨日存在明显差异。

若模型发生真实退化,通常会表现为多个维度同步或同向下降,而非主榜两个核心维度出现近乎镜像的反向运动。工程判断+55.6分的极端上升进一步印证当日题目分布与昨日存在系统性不同。

因此,当前数据更支持“题目抽签波动”而非“模型真实退化”的解释。

对使用者的含义

对重度依赖材料约束的场景(如合同审查、政策解读、长文档摘要),Qwen3 Max今日68.50分表现提示需增加人工校验环节。代码执行得分91.50分则表明,在纯代码生成与调试任务中,该模型当前可用性反而高于昨日。

主榜得分81.15分仍高于昨日,说明综合能力未出现整体下滑。依赖Qwen3 Max的开发者可继续使用,但应针对材料约束敏感任务设置额外验证流程。

战略判断

基于现有得分对比,Qwen3 Max材料约束的15.1分下降更可能是抽样噪声,而非能力退化信号。主榜仍实现+3.3分,说明模型整体并未被高估。

下一期Smoke评测若材料约束继续低于75分且代码执行回落,则需提高关注等级;若材料约束回升至80分以上,则可确认今日为典型抽样波动。当前阶段无需对Qwen3 Max主榜排名做出下调判断。


数据来源:赢政指数 (YZ Index) | Run #222 | 查看原始数据

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!