SGLang 低延迟模式:内核与运行时优化
SGLang 推出低延迟模式,通过插件框架集成 NVIDIA 和 AMD 专用内核,实现小批量场景下的显著延迟降低。在 AgentX 回放测试中,四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提升至 928.4 tokens/s(1.38×);四张 AMD MI355X GPU 上四并发场景提升 1.56×。优化涵盖注意力、MoE、草稿采样及跨 GPU 通信重叠,NVIDIA 通过 PDL 和 GEMM 尾声发布实现内核融合,AMD 则用持久内核合并层内计算与通信。该模式支持 DeepSeek-V4.1-Flash 等模型,未来将扩展更多硬件与工作负载。