如何判断AI基准测试是否值得信赖

在企业AI应用中，基准测试分数常被用作模型选型和采购决策的依据，但部分结果存在“benchmark washing”问题。本文基于MLCommons多年实践，提出七项信任测试准则，涵盖基准相关性、数据污染控制、可复现性、指标完整性、模型作弊防范、评分模型验证以及基准时效性。通过真实案例（如SWE-Bench性能断崖式下跌）说明，缺乏严格治理的基准可能误导高风险决策。企业需成为明智的基准消费者，而非盲目依赖单一分数，以降低生产部署风险。

MLC AI基准测试 企业AI
425

MLPerf Client v2.0 发布：新增图像生成与智能体AI基准

MLCommons近日推出MLPerf Client v2.0基准测试套件，扩展了对AI PC的评估能力。新版本新增图像生成和Agentic AI类别，同时升级LLM推理测试，支持Phi 4 Mini Instruct和Qwen 3 8B模型。该基准涵盖笔记本、台式机和工作站等设备，测量本地AI工作负载的响应性和吞吐量。合作方包括AMD、Intel、Microsoft和NVIDIA，代码已开源至GitHub，供开发者免费下载使用。

MLC MLPerf Client AI基准测试
569

SGLang 实现 Muse Glimmer Day-0 支持，优化本地 Agentic 推理

Meta Superintelligence Labs 与 SGLang 团队合作，为 30B 参数多模态模型 Muse Glimmer 带来 Day-0 支持。该模型具备 128k+ 上下文窗口，专为本地 Agentic 工作流设计。SGLang 通过 SM120 后端和 MLX 后端提供高性能优化，在 RTX 5090 上实现最高 1452 tok/s 总吞吐和 236 tok/s 单用户解码速度，支持 DFlash 推测解码、RadixAttention 前缀缓存等特性，并兼容 BF16、NVFP4、GGUF 等多种量化格式，覆盖 NVIDIA 和 Apple Silicon 硬件平台。

LMSYS SGLang Muse Glimmer
421

统一基数缓存：混合模型前缀缓存的单一树结构

本文介绍SGLang的Unified Radix Cache方案，通过单一radix tree拓扑解决混合模型（FULL、SWA、MAMBA等组件）的KV缓存复用难题。组件机制分离共享前缀身份与特定复用规则，支持HiCache跨GPU L1、Host L2、外部L3多层扩展，以及会话感知驱逐策略。实验显示DeepSeek-V4等多模型在多轮对话中命中率达96.8%-98%，TTFT显著降低，同时Rust核心实现进一步优化长前缀场景性能。该设计避免了组合类爆炸，保持树核心通用性，为新型混合架构提供灵活扩展路径。

LMSYS SGLang 前缀缓存
382

SGLang 实现 NVIDIA Nemotron 3.5 Lightning 零日支持

SGLang 宣布对 NVIDIA Nemotron 3.5 Lightning 提供零日支持。该模型采用 30B 参数混合专家架构，仅激活 3B 参数，专为高吞吐量代理任务设计，支持最长 1M 上下文长度。模型支持多令牌预测、DFlash 和 DSpark 等推测解码技术，可实现高达 4 倍吞吐提升。SGLang 提供 OpenAI 兼容接口、推理开关控制和预算设置，方便企业定制化部署。Nemotron 3.5 Lightning 在 PinchBench 等基准上展现出优异的效率表现，适合本地助手、金融风控、网络安全等场景。

LMSYS SGLang NVIDIA Nemotron
416

SGLang 实现 Qwen3.8 模型 Day-0 支持

SGLang 与 Miles 团队携手 Qwen、NVIDIA 等，为 Qwen3.8-2.4T-A95B 提供 Day-0 支持。该模型拥有 2.4T 总参数、95B 激活参数，采用混合注意力架构，对服务栈状态管理提出新挑战。文章详述混合 GDN/GQA 注意力、MoE 路由、NVFP4 量化、ReplaySSM 状态恢复、Chunked PP Prefill 及 PD 解耦等关键技术，并展示 FP8/NVFP4 下的高吞吐表现与 RL 训练结果。SGLang 通过 FlashInfer 内核优化与 Unified Radix Cache，实现高效 prefix caching 与 speculative decoding，显著提升 8K/1K 场景下的每 GPU token 吞吐。

LMSYS SGLang Qwen3.8
419

SGLang 高级 CUDA Graph 技术解析

本文深入探讨 SGLang 在 CUDA Graph 上的创新实践。通过重构 Runner/Backend 架构，SGLang 实现了 Breakable CUDA Graph（BCG）等高效策略，在不牺牲兼容性、启动时间和内存的前提下，最大化捕获工作负载。BCG 已成为预填充阶段默认方案，相比 eager 执行提速 1.70 倍，全捕获达 1.93 倍。文章详细解析全图、breakable 分段及内存管理机制，并展示其在 decode、prefill 及投机解码中的灵活应用，为 LLM 推理引擎性能优化提供重要参考。

LMSYS SGLang CUDA Graph
397

Miles v0.1：生产级前沿后训练系统

Miles v0.1是前沿后训练的全栈生产就绪系统，继承slime设计理念，围绕“验证、干净、可定制”原则优化RL训练循环每个阶段。系统支持SGLang驱动的异步Rollout、TITO会话服务器、R3路由重放及低精度训练等特性，实现准确、高效、可靠且可扩展的agentic RL训练。本文详解其RL循环、Rollout机制、训练优化及评估模式，为研究者和开发者提供完整实践指南。

LMSYS 后训练 强化学习
346