SGLang 与 Miles 为 DeepSeek-V4.1 提供 Day-0 支持

SGLang 和 Miles 团队联合发布对 DeepSeek-V4.1 的 Day-0 支持,针对其低比率压缩、滑动窗口注意力、流形超连接及 Engram 内存等架构创新进行了深度优化。文章详述跨层 KV 共享、稀疏检索、主机内存 Engram 布局及 SWA 有界重放等技术细节。实测显示主机卸载使 KV 缓存容量提升 36%,解码器侧重放将预填充吞吐提升 1.56 倍,同时保持 AIME 2026 评测一致性。内核融合与量化感知训练进一步提升了推理效率,为大规模部署提供高性能解决方案。

LMSYS SGLang DeepSeek-V4.1
242

MLPerf Storage v3.0 基准测试结果发布

MLCommons近日公布MLPerf Storage v3.0基准测试结果。该版本新增KV Cache和Vector Database两项测试,覆盖更多AI推理存储场景。同时引入S3对象存储访问层,支持更广泛存储系统性能比较。共有19家机构提交结果,其中11家为首次参与。测试还重点关注功耗效率,揭示了存储系统在AI应用中的能效表现,为训练与推理系统选型提供重要参考。

MLC MLPerf Storage AI 基准测试
284