MLCommons 更新使命：标准化 AI 测量 赋能明智决策

MLCommons 宣布更新使命，核心聚焦于标准化 AI 测量并支持各方做出明智决策。八年来 AI 行业快速发展，测量是解锁 AI 潜力的基础，能帮助表征系统行为、评估功耗与性能。组织将通过工业级基准测试、协议及测试套件，提供速度、功耗、可靠性等关键指标，服务学术界、厂商、部署者与政策制定者。未来将优化网站、推广基准、支持效率权衡、扩大社区并拓展医疗金融等领域，持续演进以应对技术进步。

MLC MLCommons AI基准测试
384

MLPerf Endpoints：为何成为买家选购AI推理系统的关键基准

MLPerf Endpoints是MLCommons推出的新型推理基准，专注于评估生产环境下的真实端点性能。它不再孤立测试硬件，而是将模型、硬件、 serving软件和网络整合，在真实负载下测量系统表现。该基准提供完整的Pareto前沿曲线，涵盖并发、首Token延迟P90、系统吞吐量、每瓦吞吐及用户交互性等五大核心指标。相比传统MLPerf Inference，Endpoints更贴近企业实际采购需求，支持滚动提交和快速更新，帮助买家根据工作负载选择最优配置，降低部署风险并优化TCO。结果分为已验证、临时和未验证三类，确保透明可信。

MLC MLPerf Endpoints AI推理基准
358

MLCommons 获 NSF 资助 打造 MLPerf Agents 代理 AI 基准

MLCommons 被选为 STRIDE Ventures AI Efficiency Challenge 的基准团队，获得美国国家科学基金会 350 万美元两年资助，将开发全新 MLPerf Agents 基准。该基准聚焦代理 AI 系统从目标委托到验证结果的完整工作流，测量成功任务的成本、能耗、延迟与吞吐量。MLPerf Agents 将覆盖软件工程、数据分析和客户服务等场景，提供全栈可比结果与可信验证，帮助开发者和买家优化效率。

MLC MLPerf Agents AI基准
449

SGLang 为 NVIDIA Nemotron 3.5 Super VL 提供零日支持

NVIDIA Nemotron 3.5 Super VL 是一款开放多模态模型，专为文本、图像、文档和视频输入设计，支持代理推理与工具使用。该模型采用1200亿参数混合专家架构，每次激活120亿参数，结合C-RADIOv4视觉编码、Mamba-Transformer混合架构、多令牌预测及NVFP4量化等优化。SGLang提供高性能服务支持，包括连续批处理、前缀复用和投机解码，可在单卡RTX 6000 PRO上实现243.9 tok/s速度。模型在Artificial Analysis Intelligence Index上展现5倍速度优势，并在SWE-bench Pro任务中完成时间缩短4倍，适合企业级长时程多模态代理工作流。

LMSYS SGLang NVIDIA Nemotron
440

SGLang 为 Muse Spark Open 提供首日支持

Muse Spark Open 是一款 816B 参数的开放权重多模态 MoE 模型，激活参数约 42B，支持文本、图像、视频和音频输入及 1M token 上下文。SGLang 与 Miles 团队实现 Day-0 支持，通过序列并行、NVFP4 MegaMoE、DFlash V2 推测解码等优化，在 8 张 B300 GPU 上实现每 GPU 14.8K tokens/s 的高吞吐，同时显著降低 TTFT。文章详细介绍架构、内核优化及多模态预处理方案。

LMSYS SGLang Muse Spark Open
366

SGLang 赋能 Beam 模型生产级部署

Reflection 推出的 Beam 是一款 501B 参数的 MoE 模型，每 token 激活 23B 参数，专为软件工程和长时程智能体任务设计。SGLang 原生支持 Beam 并驱动其生产 API，提供 BF16、NVFP4、动态 FP8 等多精度支持，以及 DFlash2 推测解码、混合注意力缓存等优化特性。在 4 张 NVIDIA GB300 GPU 上，NVFP4 版本的 OpenHands 多轮智能体编码任务吞吐达每 GPU 127.6K tokens/sec，p50 交互性达 185.87 tokens/sec。本文详解集成细节、内核优化与实测性能，助力开发者快速部署。

LMSYS SGLang MoE模型
328