XM-Sparse：Netpreme X-Mem™ 突破稀疏注意力吞吐极限

XM-Sparse将Netpreme X-Mem™与SGLang HiSparse深度整合。高带宽访问外置KV缓存可降低解码延迟，同时新增容量支持更大批次与更高并发。

TL;DR

• X-Mem™为SGLang HiSparse带来高带宽与海量外部容量，实现更快的外置KV访问，并支持超出主机DRAM限制的更大批次。
• 相同批次下解码更快。在16K上下文、20% top-k miss率和每GPU批次192时，X-Mem™相比PCIe主机DRAM将平均每输出token时间（TPOT）缩短49.25%；40% miss率下缩短63.58%。
• 跨上下文长度吞吐更高。在20% miss率下，X-Mem™在16K–1M上下文实现主机DRAM峰值解码吞吐的2.09–3.04倍。

以上结果在X-Mem™ Pilot Virtual Machine中测得，现已开放申请，X-Mem™硅片即将上市。

为何稀疏注意力需要快速高容量内存层

稀疏注意力每次解码仅访问选定KV条目，但因选择动态变化，仍需保留完整KV缓存。SGLang HiSparse使用热KV缓冲减少外部内存读取，并将索引键缓存留在GPU HBM。

Agentic工作负载对吞吐要求更高。编码代理保持数百会话，每会话KV复用率高达95%。解码吞吐直接决定高并发下的服务容量。

带宽与容量瓶颈建模

我们对比四种外部内存配置的建模解码吞吐：PCIe、CXL、NVLink-C2C及Scale-up扩展内存。在128K上下文下，容量与带宽均构成限制。24TB容量配合900 GB/s带宽可显著提升性能。

短上下文与长上下文对比

16K与1M上下文分别凸显带宽与容量约束。16K时带宽为主瓶颈，900 GB/s带来1.80倍提升；1M时容量成为限制，24TB配置可将批次从4提升至20。

Netpreme X-Mem™：SGLang HiSparse的高带宽高容量内存层

X-Mem™ MPU通过高带宽 fabric 在scale-up域内为GPU扩展数十TB内存。单个节点支持4个MPU，提供24TB DDR5与约4TB/s聚合带宽。

与SGLang HiSparse的集成

XM-Sparse保留HiSparse的稀疏选择、缓存管理和预取机制，支持CUDA Graph。KV管理遵循请求生命周期：发布、获取、写回与释放。

XM-Sparse测试平台与解码性能

在四块NVIDIA B300解码GPU上测试GLM-5.3。X-Mem™在20% miss率下显著降低TPOT，并将峰值吞吐提升至主机DRAM的2倍以上。