TL;DR
SGLang推出高度优化的Pipeline Parallelism (PP)实现，专为应对超长上下文推理挑战而设计。通过集成Chunked Pipeline Parallelism、Asynchronous P2P Communication以及简洁有效的Dynamic Chunking机制，该PP设计在保持与其他并行策略、PD Disaggregation和HiCache无缝兼容的同时，实现行业领先性能。在多节点H20集群上，采用PP4 TP8配置（chunked prefill size设为12K），DeepSeek-V3.1的Prefill Throughput较TP8提升3.31倍，比TP32方案（2.54倍）高出30.5%，凸显PP在跨节点大规模扩展中的架构优势。此外，该实现TTFT降低高达67.9%，强扩展效率达82.8%，为万亿参数模型超长上下文提供高效开源路径。
DeepSeek-V3.1在H20上的Prefill Throughput（Batch Size = 1，更高越好）
注：DCK 12288 (σ=0.65) 表示启用Dynamic Chunking，初始chunked prefill size为12K，平滑因子为0.65。
引言
随着大型语言模型（LLMs）向万亿参数架构和“无限”上下文窗口扩展，服务基础设施需转向更细粒度的跨节点并行策略。KV cache技术虽能减少冗余计算，但无法解决超长序列初始Input Token Length（ITL）带来的高Time to First Token（TTFT）。Tensor Parallelism（TP）虽适用于节点内扩展，但在多节点部署中常遇通信瓶颈。传统Pipeline Parallelism（PP）虽降低通信量，却在处理巨型提示时面临资源利用不足和气泡开销问题。
SGLang借鉴开源创新与学术研究，引入异步通信和动态分块预填充的优化PP实现，有效最小化管道气泡。将超长提示处理重构为高吞吐量、可计算扩展的流式工作流。实测显示，该PP在PP4扩展下保持80%以上扩展效率，Qwen3-235B-A22B-FP8在H20上PP8部署时，超长提示TTFT降低81%。
背景：为何选择Pipeline Parallelism？
为验证PP在长上下文预填充的必要性，我们对比Tensor Parallelism（TP）和Context Parallelism（CP）。通过通信量、气泡比率及实现复杂度的理论与实证分析，PP在多节点扩展中占据独特最优位置。
1. 通信量与可扩展性分析
分布式推理扩展的主要瓶颈是设备间通信。随着模型深度和序列长度增加，传输数据量成为限制，尤其在大规模多节点部署中。
假设B为Batch Size（超长上下文常为1），S为总序列长度，H为隐藏状态维度，L为总层数，M为微批大小，激活精度为FP8（1字节）。不同策略通信量分析如下：
- TP：单层内拆分权重张量，Attention Block和MLP Block后需同步。All-Reduce通信随层数线性增长，带宽绑定。
Commu Volume(TP) ≈ 4 · B · S · H · L · bytes（环形All-Reduce每操作2倍数据，每层2次All-Reduce）。 - CP：每层All-Gather聚合KV状态，带宽受限环境延迟高。
Commu Volume(CP) ≈ 2 · B · S · H_KV · L · bytes（Ring-Attention方案，GQA下H_KV较小）。 - PP：仅管道阶段边界传输，使用P2P而非集体操作。通信频率由阶段数P决定（P ≪ L）。
Commu Volume(PP) = B · S · H · (P-1) · bytes（多节点下通信量减少近一个数量级）。
2. 气泡比率权衡
PP虽优化通信，但引入管道气泡（设备空闲等待）。TP/CP理论气泡率为0，所有设备并行计算。
PP气泡比率：Bubble Ratio = (P - 1) / (P - 1 + M)。长上下文预填充中M ≫ P，比率微小，通信收益远超损失。性能影响节将评估Strong Scaling Efficiency。
纯高阶PP不推荐（气泡随P增加），宜结合节点内无气泡TP/CP（NVLink高带宽）。
3. 实现复杂度和架构通用性
开源系统重视实现简单与通用性。
- TP：易实现、广泛支持，但大规模TP与量化（MoE FFN权重）不兼容，限制多节点。
- CP：复杂，需要侵入式修改注意力机制（如Ring Attention）。