AI评估披露困境：传统补丁模式为何失效

MLCommons指出，AI系统与传统软件不同，其评估发现具有双重用途、无法通过补丁修复，且开放权重模型的危害会永久存在。协调漏洞披露（CVD）模式因此失效。文章分析了三大核心挑战：发现易被滥用、过度反馈会污染测试、无法集中修复模型。MLCommons正推动ISO/IEC TS 42119-8标准制定，并为即将发布的越狱基准制定负责任披露政策，以保护公共安全、评估完整性及不可修复系统。

MLC AI安全 模型评估
362

Chakra 走向成熟：AI 系统基准测试标准化生态

MLCommons Chakra 工作组于 2023 年成立，旨在解决 AI 系统快速发展带来的基准测试与软硬件协同设计难题。通过标准化执行追踪（Execution Trace），Chakra 提供了一个开放、可互操作的生态系统，支持从真实工作负载收集追踪，到模拟、回放和硬件在环验证的全生命周期。本文详述其在 PyTorch、vLLM、ASTRA-sim 等框架的集成，以及开源追踪库的发布，助力学术界和产业界更高效地参与前沿 AI 平台设计。

MLC AI基准测试 Chakra
305

MLCommons 发布 MLPerf Mobile v6.0，新增设备端 LLM 基准

MLCommons 正式推出 MLPerf Mobile v6.0 版本，新增针对 Android 设备运行大语言模型的生成式 AI 基准测试。该版本引入 Llama 3.2 1B、3B 及 Llama 3.1 8B Instruct 模型，基于 TinyMMLU 和 IFEval 数据集评估性能与准确性。同时支持 CPU 推理，并新增对高通骁龙 8 Elite Gen 5 NPU 的加速支持。此外，还扩展了对联发科天玑 9500 系列等芯片的支持。MLPerf Mobile 应用已上架 Google Play、App Store，并开放源代码。

MLC MLPerf Mobile 设备端 LLM
425

MLPerf Training v6.0 基准结果发布：聚焦 MoE 稀疏计算

MLCommons 正式发布 MLPerf Training v6.0 基准测试结果。本次更新新增 DeepSeek V3 与 GPT-OSS 20B 两项基准，突出 Mixture-of-Experts（MoE）稀疏计算架构的行业趋势。测试结果显示提交系统数量达 95 个，涵盖 13 种加速器和 19 种主机处理器，创下多样性纪录。24 家机构参与，包括多家首次提交者，云端训练系统数量较上轮翻倍。基准强调准确率门槛下的性能对比，为 AI 训练生态提供关键洞察。

MLC MLPerf 基准测试
344

GLM4-MoE 生产优化：SGLang 实现 TTFT 加速 65%

Novita AI 基于 SGLang 为 GLM4-MoE 模型开发了一套经过生产验证的高影响力优化方案。通过端到端性能优化策略，涵盖从内核执行效率到跨节点数据传输调度等全流程瓶颈，集成 Shared Experts Fusion 与 Suffix Decoding 技术，在代理编码工作负载下实现 TTFT 最高降低 65%、TPOT 提升 22%。所有结果均在 H200 集群 TP8 与 FP8 配置下验证，为高吞吐低延迟生产环境提供了可靠蓝图。

LMSYS SGLang GLM4-MoE
291

INT4 QAT RL 实战：单 H200 部署 1TB 模型

SGLang RL 团队受 Kimi K2 启发，成功落地 INT4 Quantization-Aware Training (QAT) 端到端方案。通过训练阶段的 fake quantization 与推理阶段 W4A16 真实量化结合，实现与 BF16 全精度相当的训练-推理一致性与稳定性。INT4 极致压缩让约 1TB 规模模型单节点 rollout 成为可能，显著提升效率并消除跨节点通信瓶颈。本文详解 slime 框架下的完整技术 pipeline，包括 Megatron-LM fake quantization 改造、STE 反向传播、权重转换及 SGLang W4A16 推理，附带消融实验与多模型验证结果，为社区提供高性能低成本开源参考。

LMSYS INT4 QAT SGLang RL
263

不留任何Token：Miles框架TITO原则深度解析

在智能体强化学习中，rollout并非单次生成，而是多轮模型调用、工具输出与恢复生成的链式过程。Token-In-Token-Out（TITO）原则旨在消除训练与推理间的关键不匹配，确保训练器评估的token序列与推理引擎实际产生和消费的序列完全一致。本文详细定义TITO原理，阐述其对训练效率与策略正确性的重要性，并分析三种常见破坏场景，最后介绍Miles框架如何通过推理会话服务器、追加-only机制与固定模板实现TITO。

LMSYS 强化学习 Token处理
486

AMD MI355X 借 SGLang 与 MoRI 实现 TCO 领先

SGLang 与 AMD 团队合作，通过 MoRI 通信库在 AMD Instinct MI355X GPU 上实现大规模 DeepSeek-R1 推理的竞争性 TCO。在 129 tok/s/user 交互性下，MI355X 每百万 token 成本仅 0.169 美元，比 B200 TRT-LLM 低 5%，比 B200 SGLang 低 40%。每 GPU 吞吐达 2436 tok/s，是 B200 SGLang 的 1.25 倍。关键优化包括混合量化 all-to-all、MoRI-IO KV 缓存后端、Two-Batch Overlap 及 SDMA 支持，验证平台为 InferenceX。

LMSYS AMD MI355X SGLang
302

异构CPU+GPU EPD解耦提升VLM服务性能

Intel与SGLang团队合作，通过Dynamo和SGLang实现了异构Encode-Prefill-Decode（EPD）解耦方案，用于视觉语言模型（VLM）服务优化。方案将视觉编码任务卸载至CPU（尤其是头节点CPU），利用Intel Xeon CPU的AMX加速器，在图像密集场景下显著改善TTFT、TPOT和整体吞吐量。实验基于Qwen3-VL-8B-Instruct模型，在1-2 QPS负载下，P99 TTFT与吞吐量提升约1.2-1.3倍，P99 TPOT降低最高达30倍。该方法在纯GPU EPD解耦基础上，几乎零成本地进一步提升投资回报率，为VLM推理提供了系统级优化路径。

LMSYS VLM服务 EPD解耦
254

SGLang 与 Miles 为 Nemotron 3 Ultra 提供 Day-0 支持

SGLang 与 Miles 宣布对 NVIDIA Nemotron 3 Ultra 实现 Day-0 支持。该模型专为长时程自主代理设计，采用混合 Transformer-Mamba MoE 架构，参数规模达 550B（激活 55B），上下文长度支持 1M token。支持 NVFP4 与 BF16 精度，可在 Blackwell 与 Hopper GPU 上高效运行。文章详细介绍了安装部署、推理服务、强化学习训练支持以及在代理基准上的领先表现，适合企业级工作流与复杂推理任务。

LMSYS NVIDIA Nemotron SGLang
263

Higgs Audio v3 TTS 登陆 SGLang-Omni：实时可控语音代理新突破

Boson AI 与 SGLang-Omni 团队近日宣布，Higgs Audio v3 TTS 模型已在 SGLang-Omni 框架上实现端到端部署。该模型专为对话式语音代理设计，支持 100 种语言且 WER/CER 保持个位数，同时允许开发者通过文本流直接控制情感、风格、韵律和音效。模型基于约 4B 参数的自回归解码器，采用多阶段生成架构，适合流式交互场景。SGLang-Omni 通过阶段抽象、轻量通信和内存隔离机制，高效支持此类多阶段模型的推理，显著提升了实时语音生成的性能与灵活性。

LMSYS TTS语音合成 多语言模型
158

LMSYS 宣布2026年博士奖学金首位获得者

LMSYS 正式宣布2026年博士奖学金首位获奖者为加州大学圣地亚哥分校博士生Will Lin。他因在开源AI基础设施领域的杰出贡献获此殊荣，奖学金最高可达5万美元，用于支持学费及相关费用。Will Lin目前领导FastVideo项目，已在GitHub获得3700+星标，并被NVIDIA Dynamo集成。其研究涵盖生成视频、世界模型全栈优化，包括稀疏注意力、量化、蒸馏及实时推理等。LMSYS通过该奖学金计划，旨在支持开源AI人才，推动社区驱动的创新研究，助力下一代AI基础设施发展。

LMSYS 博士奖学金 开源AI
236

SGLang-Omni 部署 MOSS-TTS Local Transformer v1.5：原生 48kHz 流式语音服务

本文介绍 MOSS-TTS-Local-Transformer-v1.5 在 SGLang-Omni 上的端到端部署方案。该模型支持 48kHz 立体声音频、零样本语音克隆、长时合成、多语言生成及原生流式输出。SGLang-Omni 将请求拆分为预处理、AR 引擎和流式声码器三阶段流水线，并通过参考音频缓存、CUDA Graph、状态化解码等优化显著提升吞吐与延迟。模型在 Seed-TTS-Eval 等基准上表现优异，适合高并发生产环境。

LMSYS TTS模型 语音合成
215

SGLang-JAX 在 TPU 上优化 Ling-2.6-1T：单 Pallas 内核隐藏 MoE 数据移动

SGLang-JAX 现已支持 inclusionAI 的 Ling-2.6-1T 在 TPU v7x 上高效部署。通过分析发现 Mixture-of-Experts（MoE）路径是主要瓶颈。全新 Fused MoE V2 内核将 scatter、expert FFN 与 gather 融合，并重叠计算与数据搬运。实测显示 MoE prefill 延迟从 5.16 ms 降至 2.42 ms（下降 53%），16 块 TPU v7x 的 decode 输出吞吐达到 16 张 H200 的 1.29×–1.77×。本文详述内核设计、性能数据与端到端收益。

LMSYS MoE 优化 TPU 推理
186

SGLang 中 Waterfill 与 LPLB 优化 DeepEP MoE 负载均衡

本文介绍 SGLang 中针对 DeepEP MoE 推理的两种调度时负载均衡方案：Waterfill 和 LPLB。Waterfill 通过将共享专家动态分配给负载较低的 rank，在 DeepSeek-V3/R1 类工作负载下吞吐提升 1.48%-4.66%，DeepSeek V4 最高达 +4.92%。LPLB 利用线性规划对冗余专家副本进行负载感知分发，吞吐提升 0.84%-7.34%。两项技术均已在 SGLang PR 中落地，显著缓解专家路由不均导致的 rank 等待问题。

LMSYS MoE SGLang
255