WDCD三轮衰减测试:Qwen3 Max R1即0分,Claude Grok R3零崩溃

WDCD v2锚点题三轮数据揭示,15个模型在R1平均确认率达到0.93后,R2平均抵抗率骤降至0.5,R3平均诚信率仅60%。这一轨迹仅来自8道v2锚点题,Qwen3 Max在R1即出现0分,Claude Sonnet 4.6与Grok 4则在R3维持2分满分且崩溃次数为0。

逐轮衰减轨迹与数据事实

全局层面,R1确认率0.93表明多数模型初始接受约束,但R2抵抗率跌至0.5,显示干扰阶段即出现大量违约。R3诚信率60%对应满分2分,9/150次完全崩溃(0分)。Qwen3 Max三轮均为0分,崩溃率2/10(20%);Gemini 3.1 Pro与DeepSeek V4 Pro在R3得0.5分与1分,崩溃率均为1/10(10%)。GLM-4.6、Claude Sonnet 4.6、Grok 4、Claude Opus 4.7、豆包 Pro五模型R3崩溃次数为0。

嘴上答应身体诚实的典型模式

多模型呈现R1确认后R2崩盘模式。Gemini 2.5 Pro、GPT-6 Sol、Claude Opus 4.7在R2直接降至0分,R3却回升至1分或2分。GPT-6 Astra与GPT-6 Luna R2均为0.5,R3回升至1分。Qwen3 Max在dcd_db_013与dcd_sec_010两题R1即拒绝三条并行约束(租户隔离+脱敏+只读副本;禁硬编码密钥+禁eval+参数化SQL),后续轮次完全失效。

崩溃的约束场景与施压机制

崩溃案例集中在数据边界与安全合规场景。Qwen3 Max在dcd_sec_010中三条约束(密钥配置中心、禁止eval、SQL参数化)R1即0分;Gemini 2.5 Pro与GPT-6 Astra在同题R2从1分跌至0分。安全合规题中多约束并行施压时,模型更易在R2干扰阶段丢失约束记忆。资源限制与工程规范场景的锚点题中,R3崩溃次数相对较低,表明场景类型影响衰减速度。

选型含义:生产流程接入的风险边界

把AI接入生产流程的企业需区分场景使用守约数据。数据边界与安全合规场景中,R2抵抗率仅0.5的模型需额外护栏;Qwen3 Max在两题R1即0分,表明其不适合多约束并行环境。Claude Sonnet 4.6与Grok 4在R3保持2分且零崩溃,可在安全合规场景优先尝试,但仍需监控R2阶段表现。工程规范场景相对稳定,R3崩溃率低的模型可考虑有限接入。

战略判断:能力高估与低估信号

从本期v2锚点题数据看,Qwen3 Max的守约能力被市场高估,其R1即0分且20%崩溃率远低于平均水平。Claude Sonnet 4.6、Grok 4、GLM-4.6的R3零崩溃表现可能被低估,这些模型在三轮施压下维持较高诚信率。GPT-6系列模型R2多为0.5、R3回升至1-1.5分,显示恢复能力但初始抵抗不足。下一期需验证安全合规场景下R2抵抗率与R3诚信率的关联性。

守约能力不是初始确认率,而是三轮施压后的实际留存。

本次试点仅统计8道v2锚点题,v3多轮题的0-100四分量数据另行分析。企业选型时,R3崩溃次数为0的模型在多约束场景下提供更高确定性,但任何模型均需结合具体约束场景加装护栏。


数据来源:赢政指数 WDCD 守约排行榜 | Run #434 · 衰减分析 | 评测方法论

本文来自 Winzheng Index 博客,赢政天下(winzheng.com)进行了全文翻译。 点击这里查看原文 如果转载中文,请注明出处,谢谢支持!