豆包 Pro以87.6分居首:2026-11-06 Smoke快测数据简报
2026-11-06 赢政指数 Smoke 快测覆盖 13 个模型,豆包 Pro 以 87.6 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
2026-11-06 赢政指数 Smoke 快测覆盖 13 个模型,豆包 Pro 以 87.6 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
AI从业者深知部署系统与基础模型行为差异显著,但安全评估常错误假设可组合性。研究表明,微调等修改会导致安全分数不可预测地变化,正反方向均有可能。MLCommons强调需针对完整部署系统进行测试,其Candela服务提供带误差范围的可靠基准,支持团队判断修改影响。文章呼吁建立可预测的可组合性测试框架,以降低合规负担并助力监管。相关工作组欢迎研究者加入,推动AI安全评估进步。
MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准,开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建,覆盖12类危害场景,并采用确定性评估器提升准确性。公开结果显示27个系统表现差异显著,开放权重模型从第4到98百分位不等,而护栏系统接近满分。Jailbreak测试揭示攻击可使违规率从11.08%升至18.65%。新版支持更快、更可靠的评估,助力AI产品安全部署。
MLCommons 推出 Candela 平台,为开发者和部署者提供 AI 风险与可靠性基准测试服务。该平台基于 AILuminate 基准,支持 Safety 1.2.1 和 Jailbreak 1.1 等测试,覆盖暴力犯罪、金融健康法律建议等十二类危害及越狱攻击。采用封闭提示、私有分类器和项目反应理论评分,确保结果可比且防污染。支持练习测试、注释结果和官方结果三种模式,可测试完整系统配置。微软、NVIDIA、Google DeepMind 等成员公司已肯定其价值,助力跨组织 AI 治理与合规决策。
Agentic应用会反复向模型提交超长且高度相似的历史上下文。HiCache在Radix cache基础上把KV复用扩展到主机内存与外部存储,并进一步适配CP、PP、Speculative decoding和P/D分离等生产级推理架构。
SGLang 引入 Elastic Expert Parallelism Scaling,让 MoE 推理服务可在运行中细粒度增加 GPU,无需完整副本或重启。借助 Mooncake PG 与 NIXL,系统在 8×H100 测试中比重启更快完成扩容,并支持 CUDA graph 重捕获与 EPLB 重平衡。
SGLang 团队宣布与 AWS 合作推出 SGLang Trainium plugin Beta,基于新发布的 TorchNeuron,为 AWS Trainium2 与 Trainium3 提供 LLM 推理服务和 RL rollout 支持。该插件旨在帮助团队以更高性价比运行开放模型服务与后训练流程,并探索 Trainium 与 GPU 混合部署的异构 RL 新范式。
AMD 与 Miles 团队在 AMD Instinct MI355X 上,用 Miles、SGLang、Megatron-LM 和 Harbor 对 Qwen3-30B-A3B-Instruct 进行全异步 agentic RL 训练,将 SWE-bench Verified 子集 pass@1 从 7.3% 提升至 27.5%。
DeepSeek 开源 DeepInfer 后,SGLang 团队用 DeepInfer 自身基准在相同硬件上复测 DeepSeek-V4.1-Flash。结果显示,SGLang 在 prefill 吞吐、decode 步长等关键指标上持平或领先,并补齐了完整推理服务所需的 KV cache、PD 分离和负载均衡能力。
InfiX.ai、Slime与SGLang团队分析了原生NVFP4在大模型RL中后期失稳的原因,覆盖量化、激活缩放、KV cache与执行路径差异,并提出TRIAGE与miniTE两条路线,在8×B300上实现约1.33–1.37倍学习器更新加速。
2026年9月,Cloudflare向SGLang团队报告了GLM-5.3部署中存在的跨请求KV cache暴露漏洞。该漏洞源于异步RDMA传输与请求中止路径的竞态条件,可能导致用户会话数据泄露。团队与Cloudflare合作修复了准入拒绝路径,并引入延迟KV cache释放机制等改进。本文详细解析问题根源、影响范围及上游修复方案,为SGLang运维者提供安全指导。
2026-11-05 赢政指数 Smoke 快测覆盖 13 个模型,GPT-6 Astra 与 GPT-6.1 Sol 以 81.66 分并列当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
本期WDCD v3.1测试中,Claude Opus 4.7得分上升8分至89.30,豆包 Pro下降10.1分,GPT-5.5下滑5.6分,GPT-6 Astra以90.50分位列第一。上升模型3个、下降模型5个,守约能力出现明显分化。
业务规则场景全体得分最低,doubao-pro仅1.2/4;数据边界区分度最大,gpt-5.5从4分跌至1.3分差距2.7。claude系列与glm-4.6在多场景守约更稳,企业接入生产流程需按场景加护栏。
v2锚点题数据显示,R1平均确认率0.93,R2抵抗率0.67,R3诚信率86.7%,仅Qwen3 Max出现1次R3完全崩溃(0/2分)。其他14个模型R3崩溃率为0。分析聚焦v2三轮数据揭示的守约衰减机制及生产接入风险。
GPT-6 Astra以90.50分位居WDCD v3.1守约排行榜首位,豆包Pro 58.70分垫底,15模型中满分率50%,R3崩溃率0.7%。头部三名与尾部差距超过31分,Claude Opus 4.7单期提升8.0分。
Claude Sonnet 4.6今日Smoke评测主榜从84.90分跌至73.76分,下降11.1分。代码执行降10.1分至78.80,材料约束降12.4分至67.60,工程判断与任务表达上升,诚信评级从pass转为warn。单日10题抽签波动正常,但核心维度同步下跌且诚信信号变化值得关注。
GPT-6 Luna今日Smoke评测主榜从87.27分跌至75.79分,代码执行维度从100.00分暴跌至74.30分,材料约束升至77.60分,诚信评级从pass变为warn。单日10题抽签波动或模型一致性问题需重点验证。
2026-11-04 赢政指数 Smoke 快测覆盖 12 个模型,GPT-5.5 以 94.8 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
2026-11-03 赢政指数 Smoke 快测覆盖 13 个模型,GPT-5.5 与 GPT-6 Astra 与 GPT-6 Luna 与 GPT-6 Sol 以 87.27 分并列当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
2026-11-02 赢政指数 Smoke 快测覆盖 14 个模型,GPT-6 Astra 与 GPT-6 Sol 以 84.9 分并列当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
本期WDCD v3.1测试中,15个模型仅DeepSeek V4 Pro与GPT-6.1 Sol两家上涨,其余12家全部下降,Qwen3 Max跌幅达26.2分。Gemini 3.1 Pro以91.00分保持首位,GPT-6 Luna与GPT-o3分别下滑15.8分和11.9分,显示多轮渐进施压下多数模型守约生存能力出现明显衰减。
WDCD v3.1试点数据显示,数据边界场景全体模型得分最低,qwen3-max仅1.36/4;工程规范最易守约,gemini-3.1-pro拿下4/4。安全合规区分度最大,gpt-6-luna与grok-4差距2.13分。五大场景中偏科模型达8个,企业接入生产流程需按场景加护栏。
v2锚点题显示,R1确认率93%、R2抵抗率69%、R3诚信率仅50.9%,Qwen3 Max R3崩溃率30.8%,Grok 4为0%。多约束场景下模型“先答应后崩盘”现象突出,生产接入需重点关注安全合规与数据边界护栏。
Gemini 3.1 Pro以91.00分位居WDCD守约排行榜首位,Qwen3 Max以58.85分垫底,首尾差距32.15分。15个模型中满分率41%,R3崩溃率9.2%。头部模型在v2锚点R3平均得分1.38以上,尾部模型R1即归零,显示多轮施压下的守约差异直接决定生产可用性。
今日Smoke评测中GPT-o3材料约束从88.30分跌至63.30分,降幅25分;代码执行从69.00分升至89.10分,升20.1分;主榜从77.69分微降至77.49分。工程判断与任务表达侧榜波动更大。
Grok 4在今日Smoke评测中代码执行从94.00分跌至78.20分,降15.8分;材料约束从71.40分升至88.30分,涨16.9分;主榜从83.83分微降至82.75分。工程判断与任务表达侧榜同步大跌,诚信评级维持pass。
2026-10-26至2026-11-01 Smoke评测显示,Claude Opus 4.7趋势47.8分、末日98.79分居首,但波动47.8分;GPT-6.1 Sol均值82.5分持平86分;DeepSeek V4 Pro与GLM-4.6诚信评级出现warn或fail信号,GPT-6 Astra末日97.25分实现13.8分上升。
2026-11-01 赢政指数 Smoke 快测覆盖 13 个模型,Claude Opus 4.7 以 98.79 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
GPT-6 Sol今日Smoke评测主榜从90.51分跌至74.14分,降幅16.4分。代码执行维度从100.00分暴跌至66.80分,材料约束小升4.2分至83.10分。工程判断从100.00分降至75.00分。单日10题快测下,此幅度波动需重点观察。