突破极限：DeepSeek-V4-Pro 在 H20 上的服务优化

本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术，结合PP2/PP4预填充与低延迟/高吞吐解码配置，显著提升TTFT与TPOT性能。单节点H20-141GB实现271 tokens/s输出，优化后预填充达8.45k input tokens/s，1M token提示处理仅需43.7秒。文章提供场景化部署方法论，为受限硬件下的前沿模型服务提供实用参考。

LMSYS DeepSeek MoE服务优化
832

Mooncake赋能Miles：从碎片化Rollout数据到高效批量I/O

本文探讨强化学习中Rollout数据传输的挑战与Mooncake解决方案。在Miles框架中，Rollout生成与模型训练分离部署，产生异构、碎片化的结构化数据。Mooncake通过结构化对象传输架构，实现高效PUT/GET操作，较Ray路径远程GET延迟降低10-14倍，PUT提升1.2-1.6倍。文章详细分析数据异构性、内存碎片问题，并展示同步/异步传输流程、Miles对象解剖及基准测试结果，为大规模RL系统提供低延迟数据路径。

LMSYS 强化学习 Mooncake
502

SGLang 亚秒级引擎恢复：权重缓存守护进程实现快速重启

针对SOTA大模型冷启动耗时过长的问题，Ant Ling Infra团队与SGLang团队推出Weight Cache Daemon。该守护进程通过CUDA IPC零拷贝映射，将量化后权重常驻GPU内存，实现从分钟级到亚秒级的权重加载加速。基于Ling-2.6-1T FP8模型，权重加载时间从495秒降至0.63秒，总启动时间减少93.9%。支持多实例权重共享、<1秒主动-备用故障转移，以及多节点模式，为生产环境提供高可用、低成本的LLM服务恢复方案。

LMSYS SGLang LLM服务
616

追逐Batch-1极限：Ling-3.0-flash在Blackwell上的推测解码优化

本文深入分析Ling-3.0-flash混合注意力MoE模型在4张NVIDIA Blackwell GPU上的Batch-1解码优化。通过NEXTN和DSpark两条推测解码路径，单请求吞吐从288 tok/s提升至606 tok/s，均值TPOT从3.33ms降至1.53ms。在1000请求对照测试中，DSpark进一步将均值TPOT压至0.78ms，吞吐达1120 tok/s。文章详述主机超前运行、PDL链式调度、内核融合及数值精度调整等关键技术，揭示Batch-1场景下权重带宽与启动延迟的优化路径。

LMSYS AI推理优化 推测解码
614

Qwen3.8-Flash-Next：SGLang 实现 Day-0 支持

Qwen团队开源Qwen3.8-Flash-Next，这是一款多模态MoE模型，也是Qwen4架构的早期预览。SGLang与Qwen、NVIDIA及AMD团队合作，提供Day-0支持。该模型采用Gated DeltaNet与Qwen Sparse Attention混合设计，引入Gated Residual和N-gram Embedding等创新。模型参数达125B激活6B，支持NVFP4量化，在B200上使用MTP推测解码可达540 tok/s。SGLang优化了KV缓存管理、索引复用及HyperConnection内核，实现长上下文高效推理。

LMSYS Qwen SGLang
1,113

MiniMax-H3 在 8×H200 上实现 1.95 倍无损加速，最高达 6.24 倍

SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行了全面基准测试。通过固定提示、种子、分辨率和去噪步数，SGLang 的无损路径比 Diffusers 快 1.85–1.95 倍。结合 Cache-DiT 步重用与 SubBlock 稀疏注意力，最高可达 6.24 倍加速（SSIM 0.76–0.91）。质量优先推荐单独使用 Cache-DiT，平衡方案则采用 SubBlock 0.75 + Cache-DiT stride。测试覆盖 T2VA 与 FL2VA 两种任务，详细数据与执行轨迹图均已呈现。

LMSYS SGLang MiniMax-H3
722

Infer-forge：围绕 SGLang 的 Harness、Loop 与 Graph 工程

本文深入解析 Infer-forge 工程系统，围绕 SGLang 构建可复现的推理优化框架。通过 MonoRepo 统一跨仓库工作空间、Harness 提供执行保障、Task Loop 维持长期任务连贯性，以及 Task Graph 协调多任务收敛，实现从内核到部署的全链路可验证工程。系统强调部署点的全局约束链，支持 Agent = Model + Harness 的可靠执行，已在实际项目中协调 38 个任务节点，峰值并发任务达 9 个。文章公开方法论，助力团队构建适应自身环境的工程系统。

LMSYS SGLang 推理优化
450

暴风影音与 RMVB 年代：万能播放器、解码器地狱与看片自由

歌听上了，接下来是电影。RMVB 把一部电影压进 300MB，也把所有人推进"有声音没画面"的解码器地狱——于是"万能播放器"成了那个年代最动人的承诺。档案馆的收录页记下了全部细节：1.5MB 的 MPC 与 34.8MB 的暴风"万能版"、PotPlayer 简介里白纸黑字的作者出走始末、快播去广告版里民间高手的改版手记。这一次腾讯照例入场，而且产品真赢了口碑——却没能赢下时代。

软件史 视频播放器 怀旧
609

MP3 与千千静听时代：歌词秀、皮肤与一个人写出的国民播放器

文件下回来了，接下来是听。MP3 把整个乐坛装进硬盘，Winamp 强大到在下载站拥有自己的专属分类，而 2.7MB 的千千静听用歌词秀和皮肤装下了一代人的青春。档案馆的收录页记下了这一切：酷狗被归在"文件共享"类的 P2P 出身、千千静听被收购后悄悄出现的"在线歌曲限速设置"、以及星级从五星到三星的滑落。这一次，腾讯照例入场——而且这一次，它赢了。

软件史 音乐播放器 怀旧
679