SpecForge v0.3.0：统一解耦与同址推测解码训练栈

SpecForge v0.3.0 发布重大更新，将目标模型推理与草稿模型训练完全分离，支持在线、离线及解耦工作流，兼容 EAGLE3、DFlash、Domino 等多种算法。新架构通过 Mooncake 传输特征，SGLang 捕获目标特征，训练吞吐提升约 10%。同时发布多款社区贡献的开放 SpecBundle 草稿模型，并提供训练-服务一致性检查机制。本文详解架构演进、三大契约及性能收益。

LMSYS SpecForge 推测解码
764

SGL-Diffusion中AR+DiT全栈性能优化

本文深入剖析了SGL-Diffusion中AR+DiT混合生成框架的性能瓶颈，并通过三阶段优化实现显著加速。采用SRT替换HF后端，解耦AR与DiT并行策略，结合动态批处理与早返回机制，大幅提升硬件利用率。实验数据显示，单卡端到端延迟降低49.4%，4卡异构部署下加速达77.2%。该方案有效解决了架构耦合、资源利用率低等问题，为知识密集型视觉任务提供高效 serving 方案，保留关键技术细节与数据对比。

LMSYS SGLang AR+DiT
577

HPC-Ops × SGLang：腾讯混元高性能 Attention、Router GEMM 与 MoE 内核

HPC-Ops 是腾讯混元大规模生产推理中使用的开源算子库，其核心的 Dynamic Attention 和 Fused MoE 算子显著提升了模型性能，最高可将 Hy3 模型的 TPOT 降低 48.8%。本文详细介绍 HPC-Ops 中 Attention、Router GEMM 和 MoE 三大算子的设计原理，并展示其与 SGLang 的集成效果。在 H20 上的基准测试表明，Attention 动态调度相比静态方案提升 2.95 倍，Router GEMM 在保持高精度的同时速度提升 1.30-3.22 倍，MoE 也带来明显加速。端到端服务测试中，8×H20 配置下 TPOT 最高下降 48.8%。这些优化已合并至 SGLang 主分支，为开源社区带来生产级性能提升。

LMSYS AI推理优化 MoE算子
720

MLPerf Endpoints v0.7：AI推理基准奠基发布

MLPerf自2018年推出以来，已成为衡量AI系统性能的行业标准，追踪到大语言模型推理能效提升超100倍、训练速度提升超50倍。随着AI服务广泛应用，企业采购推理算力需求日益复杂，MLCommons正式推出MLPerf Endpoints v0.7。该版本聚焦企业买家，强调当前性、全面性、可比性和洞察性，首批结果来自Coreweave、Google、Intel、KRAI和Nvidia等厂商。未来v1.0将引入更多买家导向规则、成本归一化及代理工作负载，支持滚动提交，助力采购决策。

MLC MLPerf AI基准测试
1,215

SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持

SGLang 与 Miles 携手 Moonshot AI 和 NVIDIA，为 2.8 万亿参数的 Kimi K3 模型提供 Day-0 支持。该混合架构融合 KDA 线性注意力与 MLA，带来全新内存管理、统一内存池及 DSpark 推测解码等创新。单卡 decode 吞吐最高达 423 tok/s，prefill 阶段达每 GPU 2808 tok/s，同时支持 LoRA RL 训练。文章详解架构适配、状态管理及性能优化，助力开源大模型高效 serving。

LMSYS SGLang Kimi K3
1,392

迈向Blackwell原生8/4位RL：Miles端到端MXFP8与NVFP4实践

本文介绍了Miles团队在Blackwell架构上实现的两种原生低精度RL方案：端到端MXFP8与MoE专家per-token NVFP4。通过从checkpoint转换、Megatron训练、SGLang rollout到实时权重更新的全链路精细精度控制，两种格式均可在保持训练-推理一致性的前提下大幅提升吞吐。实验显示，在Qwen3-30B-A3B的8x B200测试中，BF16与五种低精度配置的奖励曲线高度重合，而MXFP8与NVFP4显著缩短了rollout时间。文章详细对比了MXFP8与NVFP4的格式特性、反向传播模式选择，以及针对最终层和共享专家的BF16保护策略，为Blackwell时代高效RL训练提供了可落地的工程方案。

LMSYS Blackwell MXFP8
973

RadixArk 联手 Google：SGLang 全面功能落地 TPU

RadixArk 与 Google Cloud 达成合作，将 SGLang 推理框架引入 TPU 平台，为开发者提供硬件选择的灵活性。SGLang 已获超 3 万 GitHub 星标，支持 Gemma、Qwen 等主流模型及 Wan、Flux 等扩散模型。目前通过 SGL-JAX 即可在最新 TPU 上运行，年底还将推出 PyTorch 原生后端 SGL-torchtpu，实现数据并行、Radix Cache 等前沿特性。双方强调，此举消除迁移成本，让用户用相同 API 在 GPU 与 TPU 间无缝切换，打造开放、高性能的 AI 推理生态。

LMSYS SGLang TPU
1,178