Qwen3 Max Smoke评测数据全缺席 API故障致主榜不参与排名
Qwen3 Max今日Smoke评测因API故障/超时导致execution、grounding等五维度数据完全缺失,已进入自动补跑,本期不参与排名。所有得分显示为-,表明技术问题而非模型能力变化。
Qwen3 Max今日Smoke评测因API故障/超时导致execution、grounding等五维度数据完全缺失,已进入自动补跑,本期不参与排名。所有得分显示为-,表明技术问题而非模型能力变化。
GLM-4.6今日Smoke评测因API故障/超时导致communication维度缺失,代码执行25.00分、材料约束50.00分、工程判断25.00分,主榜36.25分未参与排名。单日10题快测波动正常,但本次数据不完整需关注是否为模型真实退化或临时故障。
2026-11-09 赢政指数 Smoke 快测覆盖 13 个模型,GPT-6 Sol 与 GPT-o3 以 92.49 分并列当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
2026-11-08 赢政指数 Smoke 快测覆盖 13 个模型,GPT-6 Astra 以 90.64 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
今日 Smoke 评测中,豆包 Pro 主榜从 87.60 跌至 79.57,代码执行升至 96.80 但材料约束暴跌 25.8 至 58.50。单日 2 题抽签导致的波动还是真实能力退化,需要基于数据判断是否值得持续关注。
今日Smoke评测中GPT-5.5代码执行从69.50升至99.80,材料约束从79.30跌至61.30,主榜从73.91升至82.48。单日10题快测下,材料约束-18分与代码执行+30.3分形成鲜明对比,需判断是抽签波动还是真实退化。
2026-11-07 赢政指数 Smoke 快测覆盖 14 个模型,GPT-6 Astra 以 93.05 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
GPT-6.1 Sol今日Smoke评测材料约束从89.80分跌至60.70分,降29.1分,代码执行从75.00分升至94.50分,主榜从81.66分降至79.29分。单日10题抽签导致的波动仍是主要可能原因。
GPT-6 Astra今日Smoke评测中材料约束从89.80分跌至60.70分,降幅29.1分,代码执行则从75.00分升至94.50分,主榜从81.66分微降至79.29分。单日10题抽样导致的波动是主因。
2026-11-06 赢政指数 Smoke 快测覆盖 13 个模型,豆包 Pro 以 87.6 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
AI从业者深知部署系统与基础模型行为差异显著,但安全评估常错误假设可组合性。研究表明,微调等修改会导致安全分数不可预测地变化,正反方向均有可能。MLCommons强调需针对完整部署系统进行测试,其Candela服务提供带误差范围的可靠基准,支持团队判断修改影响。文章呼吁建立可预测的可组合性测试框架,以降低合规负担并助力监管。相关工作组欢迎研究者加入,推动AI安全评估进步。
MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准,开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建,覆盖12类危害场景,并采用确定性评估器提升准确性。公开结果显示27个系统表现差异显著,开放权重模型从第4到98百分位不等,而护栏系统接近满分。Jailbreak测试揭示攻击可使违规率从11.08%升至18.65%。新版支持更快、更可靠的评估,助力AI产品安全部署。
MLCommons 推出 Candela 平台,为开发者和部署者提供 AI 风险与可靠性基准测试服务。该平台基于 AILuminate 基准,支持 Safety 1.2.1 和 Jailbreak 1.1 等测试,覆盖暴力犯罪、金融健康法律建议等十二类危害及越狱攻击。采用封闭提示、私有分类器和项目反应理论评分,确保结果可比且防污染。支持练习测试、注释结果和官方结果三种模式,可测试完整系统配置。微软、NVIDIA、Google DeepMind 等成员公司已肯定其价值,助力跨组织 AI 治理与合规决策。
Agentic应用会反复向模型提交超长且高度相似的历史上下文。HiCache在Radix cache基础上把KV复用扩展到主机内存与外部存储,并进一步适配CP、PP、Speculative decoding和P/D分离等生产级推理架构。
SGLang 引入 Elastic Expert Parallelism Scaling,让 MoE 推理服务可在运行中细粒度增加 GPU,无需完整副本或重启。借助 Mooncake PG 与 NIXL,系统在 8×H100 测试中比重启更快完成扩容,并支持 CUDA graph 重捕获与 EPLB 重平衡。
SGLang 团队宣布与 AWS 合作推出 SGLang Trainium plugin Beta,基于新发布的 TorchNeuron,为 AWS Trainium2 与 Trainium3 提供 LLM 推理服务和 RL rollout 支持。该插件旨在帮助团队以更高性价比运行开放模型服务与后训练流程,并探索 Trainium 与 GPU 混合部署的异构 RL 新范式。
AMD 与 Miles 团队在 AMD Instinct MI355X 上,用 Miles、SGLang、Megatron-LM 和 Harbor 对 Qwen3-30B-A3B-Instruct 进行全异步 agentic RL 训练,将 SWE-bench Verified 子集 pass@1 从 7.3% 提升至 27.5%。
DeepSeek 开源 DeepInfer 后,SGLang 团队用 DeepInfer 自身基准在相同硬件上复测 DeepSeek-V4.1-Flash。结果显示,SGLang 在 prefill 吞吐、decode 步长等关键指标上持平或领先,并补齐了完整推理服务所需的 KV cache、PD 分离和负载均衡能力。
InfiX.ai、Slime与SGLang团队分析了原生NVFP4在大模型RL中后期失稳的原因,覆盖量化、激活缩放、KV cache与执行路径差异,并提出TRIAGE与miniTE两条路线,在8×B300上实现约1.33–1.37倍学习器更新加速。
2026年9月,Cloudflare向SGLang团队报告了GLM-5.3部署中存在的跨请求KV cache暴露漏洞。该漏洞源于异步RDMA传输与请求中止路径的竞态条件,可能导致用户会话数据泄露。团队与Cloudflare合作修复了准入拒绝路径,并引入延迟KV cache释放机制等改进。本文详细解析问题根源、影响范围及上游修复方案,为SGLang运维者提供安全指导。
2026-11-05 赢政指数 Smoke 快测覆盖 13 个模型,GPT-6 Astra 与 GPT-6.1 Sol 以 81.66 分并列当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
本期WDCD v3.1测试中,Claude Opus 4.7得分上升8分至89.30,豆包 Pro下降10.1分,GPT-5.5下滑5.6分,GPT-6 Astra以90.50分位列第一。上升模型3个、下降模型5个,守约能力出现明显分化。
业务规则场景全体得分最低,doubao-pro仅1.2/4;数据边界区分度最大,gpt-5.5从4分跌至1.3分差距2.7。claude系列与glm-4.6在多场景守约更稳,企业接入生产流程需按场景加护栏。
v2锚点题数据显示,R1平均确认率0.93,R2抵抗率0.67,R3诚信率86.7%,仅Qwen3 Max出现1次R3完全崩溃(0/2分)。其他14个模型R3崩溃率为0。分析聚焦v2三轮数据揭示的守约衰减机制及生产接入风险。
GPT-6 Astra以90.50分位居WDCD v3.1守约排行榜首位,豆包Pro 58.70分垫底,15模型中满分率50%,R3崩溃率0.7%。头部三名与尾部差距超过31分,Claude Opus 4.7单期提升8.0分。
Claude Sonnet 4.6今日Smoke评测主榜从84.90分跌至73.76分,下降11.1分。代码执行降10.1分至78.80,材料约束降12.4分至67.60,工程判断与任务表达上升,诚信评级从pass转为warn。单日10题抽签波动正常,但核心维度同步下跌且诚信信号变化值得关注。
GPT-6 Luna今日Smoke评测主榜从87.27分跌至75.79分,代码执行维度从100.00分暴跌至74.30分,材料约束升至77.60分,诚信评级从pass变为warn。单日10题抽签波动或模型一致性问题需重点验证。
2026-11-04 赢政指数 Smoke 快测覆盖 12 个模型,GPT-5.5 以 94.8 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
2026-11-03 赢政指数 Smoke 快测覆盖 13 个模型,GPT-5.5 与 GPT-6 Astra 与 GPT-6 Luna 与 GPT-6 Sol 以 87.27 分并列当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
2026-11-02 赢政指数 Smoke 快测覆盖 14 个模型,GPT-6 Astra 与 GPT-6 Sol 以 84.9 分并列当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。