SpecForge v0.3.0：统一解耦与同址推测解码训练栈

SpecForge v0.3.0 发布重大更新，将目标模型推理与草稿模型训练完全分离，支持在线、离线及解耦工作流，兼容 EAGLE3、DFlash、Domino 等多种算法。新架构通过 Mooncake 传输特征，SGLang 捕获目标特征，训练吞吐提升约 10%。同时发布多款社区贡献的开放 SpecBundle 草稿模型，并提供训练-服务一致性检查机制。本文详解架构演进、三大契约及性能收益。

LMSYS SpecForge 推测解码
803

SGL-Diffusion中AR+DiT全栈性能优化

本文深入剖析了SGL-Diffusion中AR+DiT混合生成框架的性能瓶颈，并通过三阶段优化实现显著加速。采用SRT替换HF后端，解耦AR与DiT并行策略，结合动态批处理与早返回机制，大幅提升硬件利用率。实验数据显示，单卡端到端延迟降低49.4%，4卡异构部署下加速达77.2%。该方案有效解决了架构耦合、资源利用率低等问题，为知识密集型视觉任务提供高效 serving 方案，保留关键技术细节与数据对比。

LMSYS SGLang AR+DiT
625

HPC-Ops × SGLang：腾讯混元高性能 Attention、Router GEMM 与 MoE 内核

HPC-Ops 是腾讯混元大规模生产推理中使用的开源算子库，其核心的 Dynamic Attention 和 Fused MoE 算子显著提升了模型性能，最高可将 Hy3 模型的 TPOT 降低 48.8%。本文详细介绍 HPC-Ops 中 Attention、Router GEMM 和 MoE 三大算子的设计原理，并展示其与 SGLang 的集成效果。在 H20 上的基准测试表明，Attention 动态调度相比静态方案提升 2.95 倍，Router GEMM 在保持高精度的同时速度提升 1.30-3.22 倍，MoE 也带来明显加速。端到端服务测试中，8×H20 配置下 TPOT 最高下降 48.8%。这些优化已合并至 SGLang 主分支，为开源社区带来生产级性能提升。

LMSYS AI推理优化 MoE算子
771