MLPerf 发布端到端 RAG 推理基准

MLCommons 推出首个端到端检索增强生成（RAG）推理基准，涵盖文档摄取与多跳问答全流程。该基准采用 FRAMES 数据集，包含 824 个多跳查询和 2515 篇维基百科文章，支持从实时检索文档生成答案，有效降低幻觉并利用私有知识。基准测量摄取管道与 QnA 管道的整体性能，揭示模型放置、共驻、调度及前缀缓存等优化空间，为真实部署和未来智能体 AI 基准奠定基础。

MLC MLPerf RAG基准
502

双盲设计：构建可信AI评估的核心保障

随着AI在金融、医疗等敏感领域的广泛部署，企业迫切需要了解模型在其特定数据和用例下的可靠性和安全性。然而，传统评估方式难以兼顾数据隐私、模型权重保护以及基准完整性。MLCommons携手Google DeepMind、OpenMined与AVERI，首次开展双盲评估概念验证。通过保留的AILuminate™安全基准提示集和安全计算环境，实现了测试数据、模型权重与评估过程的加密隔离，既避免了基准污染，也保护了各方知识产权。该方法为未来目的特定AI部署提供了高完整性、可信赖的评估路径，标志着行业向IP安全、抗饱和测试标准迈进。

MLC AI评估 双盲测试
418

突破极限：DeepSeek-V4-Pro 在 H20 上的服务优化

本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术，结合PP2/PP4预填充与低延迟/高吞吐解码配置，显著提升TTFT与TPOT性能。单节点H20-141GB实现271 tokens/s输出，优化后预填充达8.45k input tokens/s，1M token提示处理仅需43.7秒。文章提供场景化部署方法论，为受限硬件下的前沿模型服务提供实用参考。

LMSYS DeepSeek MoE服务优化
429

Mooncake赋能Miles：从碎片化Rollout数据到高效批量I/O

本文探讨强化学习中Rollout数据传输的挑战与Mooncake解决方案。在Miles框架中，Rollout生成与模型训练分离部署，产生异构、碎片化的结构化数据。Mooncake通过结构化对象传输架构，实现高效PUT/GET操作，较Ray路径远程GET延迟降低10-14倍，PUT提升1.2-1.6倍。文章详细分析数据异构性、内存碎片问题，并展示同步/异步传输流程、Miles对象解剖及基准测试结果，为大规模RL系统提供低延迟数据路径。

LMSYS 强化学习 Mooncake
286

SGLang 亚秒级引擎恢复：权重缓存守护进程实现快速重启

针对SOTA大模型冷启动耗时过长的问题，Ant Ling Infra团队与SGLang团队推出Weight Cache Daemon。该守护进程通过CUDA IPC零拷贝映射，将量化后权重常驻GPU内存，实现从分钟级到亚秒级的权重加载加速。基于Ling-2.6-1T FP8模型，权重加载时间从495秒降至0.63秒，总启动时间减少93.9%。支持多实例权重共享、<1秒主动-备用故障转移，以及多节点模式，为生产环境提供高可用、低成本的LLM服务恢复方案。

LMSYS SGLang LLM服务
322

追逐Batch-1极限：Ling-3.0-flash在Blackwell上的推测解码优化

本文深入分析Ling-3.0-flash混合注意力MoE模型在4张NVIDIA Blackwell GPU上的Batch-1解码优化。通过NEXTN和DSpark两条推测解码路径，单请求吞吐从288 tok/s提升至606 tok/s，均值TPOT从3.33ms降至1.53ms。在1000请求对照测试中，DSpark进一步将均值TPOT压至0.78ms，吞吐达1120 tok/s。文章详述主机超前运行、PDL链式调度、内核融合及数值精度调整等关键技术，揭示Batch-1场景下权重带宽与启动延迟的优化路径。

LMSYS AI推理优化 推测解码
287

Qwen3.8-Flash-Next：SGLang 实现 Day-0 支持

Qwen团队开源Qwen3.8-Flash-Next，这是一款多模态MoE模型，也是Qwen4架构的早期预览。SGLang与Qwen、NVIDIA及AMD团队合作，提供Day-0支持。该模型采用Gated DeltaNet与Qwen Sparse Attention混合设计，引入Gated Residual和N-gram Embedding等创新。模型参数达125B激活6B，支持NVFP4量化，在B200上使用MTP推测解码可达540 tok/s。SGLang优化了KV缓存管理、索引复用及HyperConnection内核，实现长上下文高效推理。

LMSYS Qwen SGLang
543

MiniMax-H3 在 8×H200 上实现 1.95 倍无损加速，最高达 6.24 倍

SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行了全面基准测试。通过固定提示、种子、分辨率和去噪步数，SGLang 的无损路径比 Diffusers 快 1.85–1.95 倍。结合 Cache-DiT 步重用与 SubBlock 稀疏注意力，最高可达 6.24 倍加速（SSIM 0.76–0.91）。质量优先推荐单独使用 Cache-DiT，平衡方案则采用 SubBlock 0.75 + Cache-DiT stride。测试覆盖 T2VA 与 FL2VA 两种任务，详细数据与执行轨迹图均已呈现。

LMSYS SGLang MiniMax-H3
338

Infer-forge：围绕 SGLang 的 Harness、Loop 与 Graph 工程

本文深入解析 Infer-forge 工程系统，围绕 SGLang 构建可复现的推理优化框架。通过 MonoRepo 统一跨仓库工作空间、Harness 提供执行保障、Task Loop 维持长期任务连贯性，以及 Task Graph 协调多任务收敛，实现从内核到部署的全链路可验证工程。系统强调部署点的全局约束链，支持 Agent = Model + Harness 的可靠执行，已在实际项目中协调 38 个任务节点，峰值并发任务达 9 个。文章公开方法论，助力团队构建适应自身环境的工程系统。

LMSYS SGLang 推理优化
232

暴风影音与 RMVB 年代：万能播放器、解码器地狱与看片自由

歌听上了，接下来是电影。RMVB 把一部电影压进 300MB，也把所有人推进"有声音没画面"的解码器地狱——于是"万能播放器"成了那个年代最动人的承诺。档案馆的收录页记下了全部细节：1.5MB 的 MPC 与 34.8MB 的暴风"万能版"、PotPlayer 简介里白纸黑字的作者出走始末、快播去广告版里民间高手的改版手记。这一次腾讯照例入场，而且产品真赢了口碑——却没能赢下时代。

软件史 视频播放器 怀旧
401