分布式训练与部署
定义
分布式训练指把单步训练所需的模型状态(参数、梯度、优化器状态)与计算(前向、反向、数据加载)切分到多个设备,并通过集合通信在每步结束时恢复数学等价性的训练方式;分布式部署指把训练完成的参数按推理负载的显存、带宽与并发需求重新切分,并配合请求调度、副本扩缩容与健康检查对外提供服务的工程形态。
两者的约束不同:训练要求每一步的数值等价,通信发生在每层内部或每步末尾;推理只要求输出分布不变,通信发生在每个解码步内,且延迟而非吞吐是主要指标。
符号定义如下,全文保持一致。
| 符号 | 含义 | 单位 |
|---|---|---|
| 模型总参数量 | 个 | |
| 全局设备数(world size), | 张 | |
| 数据并行度 | — | |
| 张量并行度 | — | |
| 流水线并行度 | — | |
| 上下文并行度 | — | |
| 每卡 micro-batch 大小 | 条 | |
| 序列长度 | token | |
| 层数 | 层 | |
| 隐藏维度 | 维 | |
| 注意力头数 | 个 | |
| 流水线的 micro-batch 个数 | 个 | |
| ZeRO 阶段,取 0、1、2、3 | — | |
| 链路有效带宽 | 字节/秒 | |
| 单次集合通信的固定延迟 | 秒 |
术语按首次出现处定义。数据并行(data parallelism,DP)让每张卡持有完整模型、处理不同的数据分片,在每步末尾对梯度求平均;张量并行(tensor parallelism,TP)把单层的权重矩阵按行或列切开,让多张卡共同完成一次矩阵乘,层内需要通信;流水线并行(pipeline parallelism,PP)把不同层放到不同设备,按 micro-batch 流水执行;上下文并行(context parallelism,CP)沿序列维切分,用于单条序列长到单卡无法容纳的情形;ZeRO(zero redundancy optimizer)按阶段消除数据并行中的状态冗余;FSDP(fully sharded data parallel)是 ZeRO-3 在 PyTorch 中的实现形态;集合通信(collective communication)是一组设备共同参与的通信操作,语义由 all-reduce、all-gather、reduce-scatter、all-to-all 四类原语给出;micro-batch 是把一个全局批切成若干小块后单次前向所处理的子批;模型算力利用率(model FLOPs utilization,MFU)是实测吞吐与峰值算力之比。
为什么重要
单卡显存无法容纳现代模型的训练状态。混合精度 Adam 下每个参数需要 16 字节:bf16 参数 2 字节、bf16 梯度 2 字节、fp32 主权重 4 字节、一阶动量 4 字节、二阶动量 4 字节。7B 模型需要 GB,超过 80 GB 单卡容量;70B 需要 1120 GB,即 14 张 80 GB 卡的全部显存,且尚未计入激活。因此训练必须切分状态,而切分必然引入通信。
通信不是免费的,其代价可用一个比值判断。设每卡每步处理 个 token,单步计算量为 FLOP(前向 2、反向 4),梯度同步的消息量为 字节,all-reduce 的流量约为消息量的 2 倍。于是通信时间与计算时间之比为
其中 为单卡有效算力(峰值乘 MFU), 与参数量无关,只取决于每卡 token 数与链路带宽的乘积。取 FLOP/s(A100 的 40% MFU)、 GB/s(400 Gb/s InfiniBand),要使 需 。这一条给出三个可检验的结论:小模型配小 batch 时数据并行会被通信压垮;提高每卡 token 数是压低通信占比的直接手段,而它受限于显存能容纳的激活;若模型同时被张量并行切成 份,每卡计算量降为 而梯度消息量不变,同样批大小下 放大 倍。
没有并行会产生的后果是具体的:70B 无法在单卡启动;强行用 CPU offload 会把单步时间从秒级推到分钟级;不做激活重计算时,70B 在 2k 序列下单卡激活需求约 142 GiB,即使参数能放下也会 OOM。
在本库中的位置是执行层与成本层之间。模型推理优化 讨论单卡内的字节数与算术强度,本篇讨论单卡装不下时如何切分,以及切分后每步要多付多少通信;KV缓存 与 专家混合MoE 分别给出推理显存与稀疏激活的额外约束;成本-延迟-质量权衡 把卡时换算成单位请求成本。对应学习目标中的"能复现"与"会评估":能算出给定模型与硬件下的每卡显存与通信量,能判断一次训练变慢是算力、带宽还是气泡造成的。
原理与推导
1 单卡显存的逐项构成
训练一步的显存由五项构成,逐项列在表中最便于核对。
| 项目 | fp32 全量训练 | 混合精度 Adam | 说明 |
|---|---|---|---|
| 参数 | 前向与反向使用 bf16 副本 | ||
| 梯度 | 与参数同精度 | ||
| fp32 主权重 | 0 | 更新时避免舍入累积 | |
| 一阶动量 | Adam 状态 | ||
| 二阶动量 | Adam 状态 | ||
| 合计 | 其中可切分的 12 字节为后三项 |
两种配置的合计相同,但混合精度把 12 字节放进了"可切分"的部分,这正是 ZeRO 能够生效的前提。
激活显存由序列长度、批大小与重计算策略决定。不做重计算时,每层需要保存反向所需的中间张量,其字节数约为
其中 34 来自线性层与归一化的中间量, 来自注意力打分矩阵及其 softmax 中间量。取 、、、,每层为 字节,32 层合计约 28.5 GiB。激活重计算(activation checkpointing)只保留每层输入,反向时重算其余中间量,每层降为 字节的 fp16 存储,同样的配置下总计约 1 GiB,代价是多一次前向,单步计算量增加约 33%。这一项决定了大模型训练能否在给定序列长度下启动,其量级与模型状态同阶,不能忽略。
2 数据并行与梯度 all-reduce
数据并行把全局批切成 份,每卡用本地数据算梯度 ,然后同步为
再各自更新。同步通过 all-reduce 完成:先 reduce-scatter 把各卡的梯度按块归约到不同卡上,再 all-gather 把归约结果广播回去。环形算法下每卡发送与接收的字节数为
第一个因子 2 表示 reduce-scatter 与 all-gather 各一次,第二个因子来自环形结构下每卡只需承担 的份额。通信时间可用 - 模型表示:
代入 7B 的 bf16 梯度( GB):8 卡 NVLink( GB/s)时约 81.8 ms;64 卡 InfiniBand( GB/s)时约 552 ms;512 卡时约 567 ms。可见消息量足够大时,时间由带宽项决定,与设备数几乎无关:每卡承担的流量趋近于 而非 ,这正是环形算法可扩展的原因。
通信可以与计算重叠。把梯度按层或按参数桶切分,某层的反向计算一完成就对它启动 all-reduce,后一层的反向仍在计算,则通信被隐藏在计算之后。重叠的收益取决于 : 时可完全隐藏, 时单步时间由通信决定。由第 0 节推导的 公式可知,唯一的结构性手段是增大每卡 token 数或提高链路带宽。
3 张量并行:列并行与行并行
以两层线性变换 、 为例说明切分方式。
列并行把 按列切成 份,,每卡计算 ,输出按列拼接即得 。由于每卡都需要完整的 ,输入必须复制,但前向不需要通信。
行并行把下一层的 按行切成 份,,每卡计算 ,最终 需要一次 all-reduce。若把第一层做列并行、第二层做行并行,则中间结果 始终以切分形式存在,只需在第二层输出处做一次 all-reduce 即可得到完整结果,通信量与完整激活同阶而不随 增长。
Transformer 的一个块中有两处需要 all-reduce:注意力输出投影之后、MLP 下投影之后。加上反向,每块每步共 4 次。每次的消息量为 个元素,bf16 下为 字节,all-reduce 流量约 字节。整步的 TP 通信量为
代入 、、、,得 20 GiB 每卡每步,在 300 GB/s 的 NVLink 上约 71 ms。张量并行的关键约束是它每层都要通信,因此只能部署在同一 NVLink 域内:跨节点走 InfiniBand 时带宽下降一个数量级,同样的 20 GiB 需要 430 ms,且 320 次集合通信的固定延迟会叠加成数毫秒的额外开销。
4 流水线并行:气泡与调度
流水线把 层切到 个设备,每个设备执行连续的一段。前向按 micro-batch 依次流过各段,反向逆序回传。设 micro-batch 数为 ,设备数为 ,最简单的全前向全反向(GPipe)调度下,总时间片为 个,其中只有 个用于有效计算,气泡率为
、 时为 ; 时降到 ;、 时升到 。工程经验是取 使气泡低于 20%,但 受限于显存:每个在途 micro-batch 都要保留激活。
1F1B(one forward one backward)调度让每个设备在预热阶段只做前向,进入稳态后交替执行一前一后,尾部再排空。它不改变气泡率,但把在途 micro-batch 数从 降到 ,峰值激活显存因此大幅下降。交错式调度(interleaved)给每个设备分配 段不相邻的层,把气泡率改写为
代价是每段边界多一次点对点通信。DeepSeek-V3 报告的 DualPipe 属于同一方向的改进:把前向与反向切成更细的块并双向填充,使通信与计算在时间上重叠,从而在 时仍保持较高利用率。
5 序列并行与上下文并行
张量并行只切分线性层,LayerNorm、Dropout、残差相加仍作用在完整的 张量上。序列并行(sequence parallelism)把这一段沿序列维切成 份,使这部分激活显存降为 ;代价是把原来的 all-reduce 换成 reduce-scatter 加 all-gather,通信量不变而峰值显存减半。
上下文并行处理单条序列超过单卡容量的情形。它把序列切成 段,每段计算本地的 ,而注意力需要全部 ,因此每层要把 块沿环传递 次,或先 all-gather 再计算。每层每卡的通信量约为 字节量级,随 增大而下降,但层数带来的累计量仍然可观。上下文并行与张量并行的区别在于:前者切分的是序列维,注意力矩阵本身被切分,不需要每层做归约;后者切分的是特征维,每次矩阵乘都要归约。
6 ZeRO 三阶段与 FSDP
ZeRO 的核心是把第 1 节表格中可切分的 12 字节按数据并行度 均摊,并按阶段逐步扩展到梯度与参数。设每卡占用为
其中 为示性函数,取 1 表示该条件成立。逐项代入可验证四个端点: 得 , 得 , 得 , 得 。按阶段展开:
| 阶段 | 切分对象 | 每卡参数 | 每卡梯度 | 每卡优化器 | 7B 每卡合计() |
|---|---|---|---|---|---|
| 0(DDP) | 无 | 112 GB | |||
| 1 | 优化器状态 | 38.5 GB | |||
| 2 | 优化器 + 梯度 | 26.3 GB | |||
| 3 | 优化器 + 梯度 + 参数 | 14.0 GB |
阶段 3 把模型状态压到 ,代价是前向与反向各需要一次参数 all-gather,梯度仍用 reduce-scatter 回收,整步通信量为
而纯数据并行是 ,即 1.5 倍。这是"用通信换显存"的准确代价,不是数量级变化。
FSDP 是 ZeRO-3 在 PyTorch 中的工程实现:参数按 wrap 单元(通常是一层或一组层)分片,前向进入某单元前 all-gather 其参数,计算完立即释放,反向同理并追加一次 reduce-scatter。ShardingStrategy 的四个取值对应不同阶段:FULL_SHARD 对应 ZeRO-3,SHARD_GRAD_OP 对应 ZeRO-2,NO_SHARD 对应 DDP,HYBRID_SHARD 在节点内全分片、节点间复制。
7 4D 并行的组合与拓扑
四种并行切的是不同的维度,组合时按链路带宽从高到低由内向外排布:带宽最高的一维放最内层。
graph TD
G["全局作业 D = DP × TP × PP × CP"] --> D["DP:样本维<br/>切分 batch 与状态<br/>通信 all-reduce / reduce-scatter"]
G --> T["TP:层内张量维<br/>切分权重矩阵<br/>每层 4 次 all-reduce"]
G --> P["PP:层维<br/>切分连续层段<br/>相邻段点对点传激活"]
G --> C["CP:序列维<br/>切分单条序列<br/>每层环状传 KV"]
D --> T
T --> P
P --> C
典型拓扑从内到外是:TP 在节点内(8 卡 NVLink,单向约 300 GB/s),PP 在节点间(InfiniBand 400 Gb/s,约 50 GB/s),DP 在最外层并配合 ZeRO 分片状态,CP 仅在长序列训练时启用。DP 放最外层的理由是它的通信只在每步末尾发生一次,而 PP 的通信是每 micro-batch 一次、TP 的通信是每层一次;发生频率越高,越需要高带宽。
以 512 卡训练 70B 为例,取 、、:每卡参数与梯度各 2.0 GiB、优化器 1.5 GiB、4k 序列的激活 1.25 GiB,合计 6.9 GiB,远低于 80 GB;代价是每步 DP 通信 260.8 GiB(梯度未切分时),在 50 GB/s 网络上需要 5.6 秒,是单步计算时间(约 0.9 秒)的 6 倍。这组数字说明"能放下"不等于"能跑快":把 TP 与 PP 加满可以省显存,但 DP 的梯度同步才是该配置的瓶颈,必须靠增大每卡 token 数或改用 ZeRO 分片来缓解。
DeepSeek-V3 的公开配置提供了另一个数据点:671B 总参数、37B 激活参数,在 2048 张 H800 上训练,采用 、专家并行度 64、ZeRO-1 数据并行,不使用张量并行,并用 DualPipe 重叠通信与计算。不用 TP 的理由是 MoE 的专家已经提供了足够的切分维度,而 TP 的每层通信在跨节点时无法隐藏。
8 通信原语与带宽约束
四类原语的消息量与用途如下, 为参与张量的字节数。
| 原语 | 语义 | 环形流量(每卡) | 典型用途 |
|---|---|---|---|
| all-reduce | 归约后广播给所有卡 | DDP 梯度同步 | |
| all-gather | 收集各卡分片,拼成完整张量 | ZeRO-3 参数、TP 行并行输入 | |
| reduce-scatter | 归约后按块分片 | ZeRO 梯度、TP 行并行输出 | |
| all-to-all | 每卡向其余各卡发送不同分片 | MoE 的 token 分发与合并 |
all-reduce 可分解为 reduce-scatter 加 all-gather,因此流量是后两者的两倍。这也是 ZeRO 阶段 1、2 能省显存同时几乎不增加通信的原因:它把 all-reduce 拆开,中间结果直接留在本地。
原语的耗时用 - 模型估计:
环形 all-reduce 需要 步,树形或递归倍增只需 步。当消息很小时, 项主导,应选树形;当消息很大时,带宽项主导,环形更优且实现简单。以 、 微秒、 GB/s 计,环形 all-reduce 的固定延迟项为 ms,与 50 MB 消息的传输时间相当;小于该量级的消息由延迟主导,树形或递归倍增更优。NCCL 会按消息大小自动切换算法,手工实现时需要注意这一点。
9 显存估算算例
把前八节合起来,可以对任意配置做每卡显存与通信量的估算。以 为例,模型状态按 TP、PP、DP 三者切分,激活按层段计算:
若 ,把第一项替换为第 6 节表格中对应的未切分项即可: 时参数与梯度不切分、只切优化器状态, 时参数不切分。
7B、、:模型状态 GB,激活 1.0 GiB,合计 14.0 GiB,单卡 80 GB 有充裕余量,可以继续增大序列或批。70B、、、、:合计 6.9 GiB,其中模型状态 5.6 GiB、激活 1.25 GiB,同样宽裕,但第 7 节已指出该配置的瓶颈在 DP 通信。70B、、、、:合计 17.5 GiB,其中模型状态 16.3 GiB、激活 1.25 GiB,优化器状态 12.2 GiB 是最大项,因为 只按 DP 切分,而 的切分能力有限。
10 训练稳定性
混合精度训练的数值问题集中在两处。第一处是梯度下溢:fp16 的最小正规数为 ,小于它的梯度会变为 0 或非正规数。解决办法是损失缩放(loss scaling):前向损失乘以 ,反向得到的梯度同比放大,更新前再除回;若出现 inf 或 NaN,则把缩放系数减半并跳过该步,连续若干步无溢出后再逐步加倍。bf16 的指数位与 fp32 相同(8 位),动态范围覆盖 至 ,因此不需要损失缩放,这也是大模型训练普遍改用 bf16 的原因。
第二处是梯度裁剪与分片的交互。全局范数裁剪需要整个梯度向量的范数
在 ZeRO 下每卡只持有梯度的 ,正确做法是各卡先算本地平方和,用一次极小的 all-reduce 汇总,得到全局范数后再按同一系数缩放本地分片。若各卡独立按自己的分片范数裁剪,由于该范数约为全局范数的 ,阈值在实际效果上被放大 倍:全局范数超标时裁剪不会触发,训练表现为损失曲线抖动加剧而单步不报错。
11 推理部署形态
训练完成后的部署形态由显存、延迟与并发三个约束共同决定。
单机多卡是最常见形态。70B 在 bf16 下占 140 GB,8 张 80 GB 卡用 切开后每卡 17.5 GB 权重,剩余约 60 GB 用于 KV 缓存。TP 切分同时切分 KV 头: 时每卡只持有 1 个头,每 token 缓存从 320 KiB 降为 40 KiB,因此 60 GiB 可容纳 条 8k 序列。这一计算与第 3 节 KV 公式一致,差别只在于 要先除以 。
张量并行服务同时带来延迟代价。每层 2 次 all-reduce(仅前向),80 层共 160 次;每次固定延迟约 10 至 20 微秒,累计 1.6 至 3.2 ms,与单步 7 ms 量级相当。因此 TP 度数并非越大越好:增大 TP 降低单卡显存与单步计算,但增加通信次数,TPOT 存在最小值点。
批处理与调度决定吞吐。服务端通常限制两个量:最大并发序列数(受 KV 预算约束)与单步最大 token 数(受算力与延迟约束)。预填充与解码混合调度时,长 prompt 的预填充会占满一步,导致同批其他序列的 TPOT 抖动,因此需要把预填充切成固定大小的块(chunked prefill),在多个解码步之间分摊。
自动扩缩容依据三个信号:排队深度、TTFT 的 P95、KV 缓存使用率。扩容的冷启动时间常被低估:加载 140 GB 权重按 2 GB/s 的存储带宽需要 70 秒,期间副本不可用,因此需要预热池或按镜像分层缓存。缩容应先停止接受新请求、等待在途请求完成(drain),再释放显存。
健康检查分三层。存活探针判断进程是否存活,失败则重启;就绪探针判断模型是否加载完成、CUDA 上下文是否初始化、KV 池是否分配,失败则从负载均衡中摘除但不重启;启动探针给冷启动留出足够的宽限时间。把就绪判断写成"进程存活"会导致流量打到尚未加载完权重的副本,表现为大批 5xx。
12 训练与部署之间的重切分
训练与推理的并行配置通常不同:训练用 TP、PP、DP 的组合追求显存与吞吐的平衡,推理用 TP 追求单步延迟,或反过来用更小的 TP 以降低每 token 的通信次数。checkpoint 中的每个张量都带着训练时的切分信息,不能按文件名直接加载,必须先重排。
| 张量 | 训练时的切分维 | 推理时的处理 |
|---|---|---|
| QKV 投影权重 | 输出维按 TP 切分,按注意力头分组 | 先合并,再按新的 TP 度按头重新切分 |
| MLP 上投影 | 输出维按 TP 切分,按中间神经元分组 | 要求 FFN 维度能被新的 TP 度整除 |
| MLP 下投影 | 输入维按 TP 切分 | 与上投影保持同一分组顺序 |
| 词嵌入与输出层 | 词表维按 TP 切分 | 合并为完整词表后再切分 |
| 层参数 | 按 PP 段分组存放 | 按层号重排为单一列表 |
当新旧 TP 度不可整除时,例如 8 卡训练的注意力头数无法被 3 整除,必须先合并为完整张量再切分,峰值内存等于完整张量的大小。70B 单个 MLP 层的两个上投影在 bf16 下共 GB,合并可在 CPU 内存中完成,不需要 GPU。
加载后的验证方法是固定 100 条 prompt,比较重排前后模型输出的 logits,最大绝对误差应在 量级,对应 bf16 的舍入误差;若误差达到 量级,通常是某个张量的切分维弄错,表现为部分注意力头输出为噪声而整体困惑度只略有上升。灰度顺序是先离线比对,再以 1% 流量切入新副本并比较 TTFT、TPOT 与任务成功率,最后全量。
13 部署容量规划的顺序
容量规划应按约束的强弱依次求解,顺序颠倒会得到自相矛盾的配置。
- 由精度确定权重字节 ,并除以单卡可用显存得到并行度的下界 。
- 由 SLO 给出上下文长度上限 与并发目标 ,计算 KV 预算 ,其中每 token 字节数要按 TP 后的头数 折算。
- 令权重、KV 与工作区之和不超过单卡容量,解出可行的 组合;若解为空,先降 或减半 KV 位宽,再考虑增加卡数。
- 在可行组合中按 TPOT 预算筛选 :每层 2 次 all-reduce, 层共 次,单次固定延迟 微秒,则通信引入的每 token 延迟约为 ,它随 单调增。
- 用压测校准 MFU 与调度开销,验证 P95 而非均值,并把结果作为自动扩缩容的初始副本数。
这套顺序的理由是三个约束的可调性不同:精度最易改,上下文上限次之,卡数最难改。先动最易改的量,可以把"加机器"推迟到最后。
关键直觉
四种并行切的是不同的维度,通信代价由"切在哪一维、多久通信一次"决定:DP 切样本,每步通信一次,流量与参数量成正比而与设备数无关;TP 切层内张量,每层通信四次(训练含反向),故只能待在 NVLink 域内;PP 切层,每个 micro-batch 通信一次,代价体现为气泡而非带宽;CP 切序列,每层传 KV,只在长上下文时启用。显存节省与通信开销的换算关系是确定的:ZeRO-3 把状态降到 ,代价是 1.5 倍通信量。这一直觉与第 6、7 节的公式一致,可直接用于判断某个配置是"放得下但跑不快"还是"既放得下也跑得快"。
例子与代码
例 1:不同并行配置的显存与通信量估算
代码按第 1、3、4、6、9 节的公式计算每卡显存与单步通信量,输出可直接用于选型。states_gib 实现 ZeRO 的分阶段切分,act_gib 实现激活重计算前后的两种估算,comm_gib 按原语流量计算三类通信。
import numpy as np
GIB = 2 ** 30
def states_gib(P, dp, tp, pp, zero):
"""混合精度 Adam:参数 2B、梯度 2B、优化器状态 12B(fp32 主权重 + m + v)。"""
param = P * 2 / (tp * pp)
grad = P * 2 / (tp * pp)
opt = P * 12 / (tp * pp)
if zero >= 1:
opt /= dp
if zero >= 2:
grad /= dp
if zero >= 3:
param /= dp
return param / GIB, grad / GIB, opt / GIB
def act_gib(L, pp, s, b, h, a, ckpt=True):
per_layer = 2 * s * b * h * 2 if ckpt else s * b * h * (34 + 5 * a * s / h)
return (L / pp) * per_layer / GIB
def comm_gib(P, tp, pp, L, b, s, h, zero, bw_tp, bw_dp):
if zero >= 3:
dp_bytes = 3 * (P * 2) # 2 次 all-gather + 1 次 reduce-scatter
elif zero == 2:
dp_bytes = P * 2 # 仅 reduce-scatter
else:
dp_bytes = 2 * (P * 2) # all-reduce 流量约为消息量的 2 倍
tp_bytes = 8 * b * s * h * 2 * L # 每层 4 次 all-reduce,每次 2M
pp_bytes = 2 * b * s * h * 2 * max(pp - 1, 1)
t = dp_bytes / bw_dp + tp_bytes / bw_tp + pp_bytes / bw_dp
return dp_bytes / GIB, tp_bytes / GIB, pp_bytes / GIB, t * 1e3
configs = [
("7B dp8 tp1 pp1 Z3", 7e9, 8, 1, 1, 3, 32, 2048, 1, 4096, 32),
("7B dp2 tp4 pp1 Z1", 7e9, 2, 4, 1, 1, 32, 2048, 1, 4096, 32),
("70B dp8 tp8 pp1 Z1", 70e9, 8, 8, 1, 1, 80, 2048, 1, 8192, 64),
("70B dp8 tp8 pp8 Z1", 70e9, 8, 8, 8, 1, 80, 4096, 1, 8192, 64),
("70B dp8 tp1 pp8 Z3", 70e9, 8, 1, 8, 3, 80, 4096, 1, 8192, 64),
]
print("配置 参数 梯度 优化器 激活(ckpt) 合计 DP TP 通信/ms")
for name, P, dp, tp, pp, zero, L, s, b, h, a in configs:
p, g, o = states_gib(P, dp, tp, pp, zero)
act = act_gib(L, pp, s, b, h, a, True)
act_full = act_gib(L, pp, s, b, h, a, False)
dpb, tpb, ppb, ms = comm_gib(P, tp, pp, L, b, s, h, zero, 300e9, 50e9)
print(f"{name:<22s}{p:5.1f}{g:5.1f}{o:6.1f}{act:7.2f}({act_full:5.1f})"
f"{p+g+o+act:7.1f}{dpb:7.1f}{tpb:7.1f}{ms:9.1f}")
配置 参数 梯度 优化器 激活(ckpt) 合计 DP TP 通信/ms
7B dp8 tp1 pp1 Z3 1.6 1.6 9.8 1.00( 28.5) 14.0 39.1 4.0 855.0
7B dp2 tp4 pp1 Z1 3.3 3.3 9.8 1.00( 28.5) 17.3 26.1 4.0 575.0
70B dp8 tp8 pp1 Z1 16.3 16.3 12.2 5.00(142.5) 49.8 260.8 20.0 5672.9
70B dp8 tp8 pp8 Z1 2.0 2.0 1.5 1.25( 60.6) 6.9 260.8 40.0 5762.0
70B dp8 tp1 pp8 Z3 2.0 2.0 12.2 1.25( 60.6) 17.5 391.2 40.0 8562.0
逐行读取。第一行对应 7B 在 8 卡上的标准配置:模型状态 13.0 GiB 恰为 ,激活重计算把 28.5 GiB 压到 1.0 GiB,DP 通信 39.1 GiB 正好是 ,即 ZeRO-3 的 1.5 倍代价。第三行对应 70B 单机 8 卡加 TP:每卡 49.8 GiB 能放下,但 DP 通信 260.8 GiB 在 50 GB/s 上要 5.7 秒,而单步计算仅约 0.9 秒,说明该配置在训练时不可用,只能用于推理或调小批。第四行把 PP 加到 8,显存降到 6.9 GiB,DP 通信不变,说明瓶颈在梯度同步而非显存。第五行去掉 TP 改用 ZeRO-3,DP 通信升到 391 GiB,因为梯度不再被 TP 切分。
comm_gib 的 zero >= 3 分支把 DP 流量写成 而不是 DDP 的 ,差额正是参数 all-gather 带来的 1.5 倍;若把这一项写成与 DDP 相同,会低估 ZeRO-3 的网络需求约 33%,在高带宽集群上尚可接受,在 InfiniBand 上会直接导致扩容决策错误。
例 2:流水线气泡与 micro-batch 数
下面的计算对应第 4 节的公式,用于确定给定 下 的取值。
def bubble(pp, micro):
return (pp - 1) / (micro + pp - 1)
def bubble_interleaved(pp, micro, v):
return (pp - 1) / (micro * v)
for pp in (4, 8, 16):
row = [f"m={m}: {bubble(pp, m):.3f}" for m in (8, 32, 64)]
print(f"PP={pp:2d} " + " ".join(row))
print("PP=8, m=32, v=2 交错气泡 =", round(bubble_interleaved(8, 32, 2), 3))
def step_time(pp, micro, t_stage):
return (micro + pp - 1) * t_stage
t = 0.05
for pp, m in [(8, 8), (8, 32), (8, 64)]:
ideal = m * t
real = step_time(pp, m, t)
print(f"PP={pp} m={m}: 理想 {ideal:.2f}s, 实际 {real:.2f}s, 利用率 {ideal / real:.3f}")
PP= 4 m=8: 0.273 m=32: 0.086 m=64: 0.045
PP= 8 m=8: 0.467 m=32: 0.179 m=64: 0.099
PP=16 m=8: 0.652 m=32: 0.319 m=64: 0.190
PP=8, m=32, v=2 交错气泡 = 0.109
PP=8 m=8: 理想 0.40s, 实际 0.75s, 利用率 0.533
PP=8 m=32: 理想 1.60s, 实际 1.95s, 利用率 0.821
PP=8 m=64: 理想 3.20s, 实际 3.55s, 利用率 0.901
表格显示 的边际收益递减: 时 从 8 增到 32 把气泡率从 46.7% 降到 17.9%,收益 28.8 个百分点;从 32 增到 64 只再降 8 个百分点,而激活显存翻倍。交错式调度提供另一条路径:同样 时把气泡从 17.9% 降到 10.9%,代价是每个 micro-batch 多一次跨段传输。选择哪一种取决于显存余量与链路延迟:显存紧时优先交错,链路慢时优先增大 。
最后三行用 秒说明气泡率的实际含义: 时单步 0.75 秒中有 0.35 秒处于空闲,等效利用率只有 53.3%。若只看 GPU 利用率曲线而不看气泡,容易把这段空闲误判为算力不足。
例 3:all-reduce 时间的规模效应
def allreduce_time(M, N, bw, alpha=8e-6):
return 2 * (N - 1) * alpha + 2 * (N - 1) / N * M / bw
M = 14e9 # 7B bf16 梯度
for N, bw, name in [(8, 300e9, "NVLink"), (64, 50e9, "IB-400G"),
(512, 50e9, "IB-400G")]:
print(f"N={N:4d} {name:9s} {allreduce_time(M, N, bw) * 1e3:7.1f} ms")
for T in (512, 2048, 8192):
r = (2 / 3) * (1.25e14 / (T * 50e9))
print(f"每卡 {T:5d} token: 通信/计算 = {r:.2f}")
N= 8 NVLink 81.8 ms
N= 64 IB-400G 552.3 ms
N= 512 IB-400G 567.1 ms
每卡 512 token: 通信/计算 = 3.26
每卡 2048 token: 通信/计算 = 0.81
每卡 8192 token: 通信/计算 = 0.20
前三行验证第 2 节的结论:设备数从 64 增到 512,时间只从 552 ms 增到 567 ms,因为每卡承担的流量趋近上界 而不是随 线性增长;从 8 卡到 64 卡的跳变来自链路从 NVLink 换到 InfiniBand,带宽降为六分之一。后三行给出纯数据并行下 的量级:每卡 512 token 时通信时间是计算时间的 3.26 倍,2048 token 时降到 0.81,8192 token 时才降到 0.20,可被重叠隐藏。若模型同时被张量并行切成 份,每卡的计算量降为 ,同样批大小下 会放大 倍,这正是第 7 节 70B 配置中 达到 6.5 的原因。
易错点
以下六条均可在配置或日志中直接检验。
1. 梯度累积与学习率不配套。梯度累积把有效批放大 倍,若按线性缩放规则把学习率也放大 倍,必须同时放大预热步数;只放大学习率会让训练前期发散。反向的错误更常见:DDP 已经对梯度取平均,若在累积循环里再手工除以累积步数,梯度被缩小 倍,表现为损失下降极慢而梯度范数正常。
2. 把 all-reduce 的和当成平均。DDP 的默认行为是 sum 后乘以 ;自定义 reducer、手写 ring、或使用
reduce而非all_reduce时容易只做求和,等效学习率被放大 倍,几十步后即发散。检验方法是比较单卡与多卡在相同数据上的第一步梯度范数。3. 流水线的 micro-batch 数选错。 时流水线根本填不满,气泡率超过 50%; 增大虽降低气泡,但每个在途 micro-batch 都占激活,1F1B 下最多 个在途,全局批不变时 增大会使单 micro-batch 变小,单卡利用率下降。正确做法是先由显存定 ,再由 定 ,最后反推全局批。
4. ZeRO-3 的参数初始化。每张卡先构造完整模型再分片,会在
__init__阶段就 OOM;正确做法是在 meta device 上建模型、由分片上下文逐层物化,或先用 CPU 内存建好再切分。另一个常见错误是前向完不释放 all-gather 的参数副本,显存回到与 DDP 相同水平,ZeRO 只剩通信开销。5. 部署时按请求数而非 token 数配置 KV 预算。缓存占用由并发序列数与序列长度共同决定,只限制
max_num_seqs而不限制总 token 数,会在长请求进入时 OOM;TP 切分后每卡只持有 个头,按完整头数估算会高估 倍。6. 把张量并行延伸到节点外。TP 每层 4 次集合通信,跨节点时固定延迟从微秒级升到数十微秒,160 次累计可达数毫秒;训练中这部分无法被计算隐藏,推理中直接体现在 TPOT 上。跨节点应优先用 PP 或 DP。
关联笔记
- 前置 模型推理优化:单卡内的算术强度、KV 缓存字节数与量化收益在该篇推导,本篇在其上讨论多卡切分。
- 前置 KV缓存:缓存的每 token 字节数公式是部署阶段容量规划与并发上限的基础。
- 对照 专家混合MoE:MoE 用专家并行替代部分张量并行,通信从 all-reduce 变为 all-to-all,路由与负载均衡问题随之出现。
- 后续 成本-延迟-质量权衡:本篇的卡时、通信占比与部署形态是该篇成本函数的输入。
- 后续 端到端项目模板:训练脚本、启动配置与部署清单在该篇整合为可复用的工程骨架。
达标检测
- [ ] 列出混合精度 Adam 的 16 字节构成,并说明哪 12 字节可被 ZeRO 切分、为什么。
- [ ] 计算 7B 与 70B 在 下 ZeRO-1/2/3 的每卡模型状态,并与本篇表格核对。
- [ ] 推导环形 all-reduce 的每卡流量 ,解释为何设备数增大时时间趋于常数。
- [ ] 用 - 模型计算 64 卡、14 GB 消息在 50 GB/s 上的 all-reduce 时间,并与本篇算出的 552 ms 对照。
- [ ] 写出流水线气泡率公式,给出 、 与交错 的两个数值。
- [ ] 说明 ZeRO-3 相对 DDP 的通信量倍数,并解释多出的部分来自哪两次 all-gather。
- [ ] 给定 70B、、80 GB 卡、8k 上下文,估算可并发的序列数,并说明改动 会如何改变该数字。
参考来源
- Rajbhandari et al., "ZeRO: Memory Optimizations Toward Training Trillion Parameter Models", 2020, arXiv:1910.02054 —— 对应第 1 节的 16 字节构成与第 6 节的三阶段切分。
- Shoeybi et al., "Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism", 2019, arXiv:1909.08053 —— 对应第 3 节的列并行与行并行切分及每层通信点。
- Huang et al., "GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism", 2019, arXiv:1811.06965 —— 对应第 4 节的气泡率与 micro-batch 调度。
- PyTorch 官方文档,
torch.distributed、DistributedDataParallel、FullyShardedDataParallel章节 —— 对应第 6 节的 FSDP 策略与第 11 节的部署接口。 - DeepSeek-V3 Technical Report, 2024, arXiv:2412.19437 —— 对应第 7 节的 PP=16、EP=64、ZeRO-1 组合与 DualPipe 的重叠思路。