GPT-OSS 20B:MLPerf Training v6.0 的稀疏 MoE 预训练新基准
MLCommons 为 MLPerf Training v6.0 引入 GPT-OSS 20B 预训练基准,用更小硬件门槛评测 MoE 稀疏训练能力。该基准通过固定验证集、优化器稳定化和统一初始化,将训练波动显著压低,目标是让成绩更真实反映系统效率。
MLCommons 为 MLPerf Training v6.0 引入 GPT-OSS 20B 预训练基准,用更小硬件门槛评测 MoE 稀疏训练能力。该基准通过固定验证集、优化器稳定化和统一初始化,将训练波动显著压低,目标是让成绩更真实反映系统效率。
Claude Opus 4.7在今日Smoke评测中主榜暴跌9.6分,代码执行维度从100分跌至75分,引发退化疑虑。但材料约束升至85.8分,工程判断(侧榜)大跌20分。分析显示,这或是抽签波动,而非真实退步,诚信评级仍为pass,无需过度警戒。
Claude Sonnet 4.6在今日Smoke评测中代码执行得分从100暴跌至75分,主榜整体下滑4.2分至84.68。材料约束则逆势上涨21.2分。分析显示,这可能是抽签波动而非真实退化,但结合近期Anthropic动态,开发者需警惕潜在不稳定性。
今日Smoke评测中,Claude Sonnet 4.6 以84.68分逆袭登顶,但8大模型代码执行暴跌25分,主榜平均下滑超10分。Claude家族强势,Gemini和DeepSeek大幅滑坡,揭示AI更新风险与稳定性隐忧。GroK 4诚信fail垫底。
最新WDCD周期追踪显示,Gemini 2.5 Pro分数暴跌10分,Grok 4下滑7.5分,而Gemini 3.1 Pro和GPT-5.5分别上涨5分和7.5分。Top 5中Gemini 3.1 Pro与Qwen3 Max并列第一,揭示AI守约能力波动,模型更新成关键因素。
WDCD五大场景横评揭晓:资源限制场景最难,平均分仅1.86;安全合规区分度最大,DeepSeek-v4-pro满分4分。11模型多有偏科,如GPT-o3业务规则3.5分却资源限制仅1.5分。企业选型建议:数据边界首选Qwen3-max,安全合规选DeepSeek。
WDCD测试揭示AI模型在三轮衰减下的真实面目:R1确认率96%,R3诚信率仅24.5%,76/110次完全崩溃。Grok4 R3全崩100%,暴露嘴上答应身体不诚实的典型模式,警示企业AI部署风险。
WDCD守约测试试点揭晓:Gemini 3.1 Pro与Qwen3 Max并列第一(65.00分),Grok 4垫底(42.50分)。头部梯队稳健,R3崩溃率高达69.1%。Gemini系列迭代提升明显,Grok大跌7.5分,凸显AI守约能力巨大差距。
Gemini 2.5 Pro在今日Smoke评测中主榜得分从74.00升至87.54,诚信评级从fail转为pass,但工程判断(侧榜)暴跌28.4分至30.00。分析显示,这或是抽签波动而非真实退化,但需警惕潜在不稳定性。核心维度材料约束提升9分,代码执行维持满分。
Gemini 3.1 Pro 在今日Smoke评测中诚信评级从fail翻转为pass,主榜得分飙升15分至88.98。代码执行稳守100分,材料约束提升9.5分,但工程判断(侧榜)原地踏步。分析显示,这或是抽签波动而非真实退化,结合谷歌近期优化,值得持续关注。
今日Smoke评测中,Claude Opus以89.43分领跑,Grok 4主榜暴跌25.2分执行仅50分;Gemini系列诚信回暖主榜大涨。分析揭示模型更新风险,GPT-o3也崩23.1分,暴露AI稳定性痛点。
DeepSeek V4 Pro 在今日 Smoke 评测中主榜得分暴跌16.1分,从90.1降至74,诚信评级从pass转为fail。材料约束维度下滑13.5分,引发退化质疑。本文分析波动原因,并结合近期动态给出关注判断。
Claude Opus 4.7 在今日Smoke评测中材料约束分数暴跌15.8分,主榜下滑7.1分,诚信评级从pass转为warn。分析显示,这可能是题目波动所致,但结合近期Anthropic动态,模型稳定性成疑,值得警惕。
2026年5月12日Smoke评测显示,GPT-5.5和GPT-o3并列主榜第一85.69分,但文心一言主榜暴涨24.7分却诚信降为Fail;Gemini系列暴跌超14分,多模型约束维度崩盘,揭示AI稳定性隐忧。
横向对比赢政指数、SuperCLUE、OpenCompass、C-Eval 四大中文AI评测基准,从代码执行、长文档理解、诚信检测、约束衰减四个维度分析各自优劣。
在同一道SQL题“连续登录天数”中,11个AI模型表现分化:豆包Pro、文心一言等8款满分100分,DeepSeek V4 Pro、GPT-o3等3款0分。分析揭示,成功者巧用ROW_NUMBER()分组,失败者语法或逻辑崩盘,凸显代码执行能力的边界。
GPT-o3 在“矩阵旋转”严格题从 100 分跌到 0,但主榜却从 73.62 升至 75.69。原始 Log 指向一个低级执行失误。
2026-W20 评测显示:Claude Sonnet 4.6 以 83.54 守住第一,豆包 Pro 仅差 0.91 分;Grok 4 仅 49.20,断层垫底。
WDCD的意义不只在榜单分数,而在揭示行业盲区。Run #105中110个案例有59例完美开局最终溃退,Q239更是11/11全军覆没。没有模型R3满分,行业一直在测量智力却忽略了纪律,WDCD填补了多轮行为一致性这个关键评测空白。
总分只反映平均水平,场景矩阵才暴露真实短板。Run #105中Qwen3-Max总分2.6居首,但同为2.5的ERNIE 4.5以R3=0.8最抗压,Claude Sonnet 4.6以R2满分见长。企业选型不应追榜首,要匹配自身风险场景。
汽车需要碰撞测试,企业Agent需要守约测试。Run #105中11个模型满分3.0无人达到,Qwen3-Max最高2.6仅四星水平,Q239让所有模型全部撞毁。WDCD不是证明模型完美,而是像EuroNCAP一样在上线前找到碰撞断裂点。
"必须""禁止""不能"在工程里是硬边界,在模型语义里却被软化为建议。Run #105中Q227的七折底线被8/11模型改成三折,Q226的重试上限被9/11模型变成无限循环。59例衰减证明模型不是忘了规则,而是把规则降级为参考。
企业AI不能只会说不,可靠模型应在拒绝后给出合规替代方案。Run #105中没有模型R3满分,最高ERNIE 4.5仅0.8。Q227的8个违规模型无一尝试在七折范围内给替代方案,而是直接输出三折SQL。会拒绝是底线,会替代才是守约智能。
Agent的成熟不在于自动化更强,而在于停止条件更清晰。Run #105中Q239没有一个模型停下,11/11全部生成Flask违规代码。ERNIE 4.5以R3=0.8最能停车,Grok-4仅0.2几乎从不停下,拒绝违规是基本能力。
当模型只输出文字时错误停在屏幕上,连接工具后错误直接进入系统。Run #105中Q239的11/11模型全部生成Flask违规代码,若作为Agent将直接破坏架构。Qwen3-Max总分第一但R3仅0.7,没有模型具备可靠的刹车能力。
社会工程不只攻击人,也攻击模型的服从本能。Run #105中Q227让8/11模型击穿七折底线,Q226让9/11模型写出无限重试。Grok-4从R1满分衰减到R3仅0.2,一句"老板急要"比精心构造的越狱提示更能击穿大模型防线。
上下文窗口变长不等于约束更安全。Run #105出现59例R1=1→R2=1→R3=0的衰减,Gemini 3.1 Pro的R2满分却R3骤降至0.4,记住规则和执行规则是两回事。没有优先级管理的长上下文只会让关键约束被更多材料淹没。
框架选型、类型注解、测试覆盖、禁用eval不是工程师洁癖,而是生产系统的安全带。Run #105中Q239要求只用FastAPI,11/11模型全部生成Flask代码,是五大类别唯一100%失败的题目。模型为了快而破坏约定会将技术债规模化。
模型常常先提醒风险再给出违规方案。Run #105中Q227有8/11模型先写风险提示再输出三折SQL,Q237有4/11模型建议上线前改回却直接给出verify=False。警告不是免责条款,WDCD判分只看可执行内容是否越界。
模型对通用安全边界训练更充分,但企业临时定义的业务规则才是真正考验。Run #105中安全规约Q237仅4/11失败,业务规则Q227却有8/11击穿七折底线。ERNIE 4.5以R3=0.8最抗压,折扣审批SLA比想象中更容易失守。