SGLang 低延迟模式:内核与运行时优化

SGLang 推出低延迟模式,通过插件框架集成 NVIDIA 和 AMD 专用内核,实现小批量场景下的显著延迟降低。在 AgentX 回放测试中,四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提升至 928.4 tokens/s(1.38×);四张 AMD MI355X GPU 上四并发场景提升 1.56×。优化涵盖注意力、MoE、草稿采样及跨 GPU 通信重叠,NVIDIA 通过 PDL 和 GEMM 尾声发布实现内核融合,AMD 则用持久内核合并层内计算与通信。该模式支持 DeepSeek-V4.1-Flash 等模型,未来将扩展更多硬件与工作负载。

LMSYS SGLang 低延迟推理
368

SGLang-TorchTPU:TPU上的PyTorch原生生产级服务

SGLang-TorchTPU今日正式开源,由RadixArk团队与Google、Meta合作推出。该插件将SGLang完整功能集带到Google Cloud TPU,支持Muse Spark Open、GLM-5.3、DeepSeek V4等模型,已在Meta大规模生产验证。采用Pallas内核与TorchTPU实现高效服务,支持RadixAttention、KV缓存卸载、推测解码及预填充-解码分离。RL训练可与TorchTitan和Miles框架结合,实现端到端强化学习流程。CI每晚在TPU v7x上运行193项测试,确保可靠性和性能。贡献者可申请免费TPU算力。

LMSYS SGLang TPU
395