[AI资讯] Google 发布 TorchTitan TPU 分叉并给出模型优化 Playbook

2026年10月20日

引言

过去几年中,Meta 的 TorchTitan 已成为 PyTorch 生态中大规模生成式 AI 模型训练的首选净室参考平台。这里所说的“净室参考平台”,并不是一个只用于演示单一模型的示例仓库,而是围绕 PyTorch 原生能力构建起来的一套参考实现:它把大规模训练中常见的模型定义、并行策略、训练循环、配置组织和扩展方式集中展示出来,便于开发者理解、复用和在此基础上继续改造。TorchTitan 完全基于 PyTorch 原生扩展原语构建,为 Llama 3、Qwen 3 和 FLUX 等旗舰级稠密模型与混合专家(MoE)架构的预训练提供了一个无拘束、高度模块化的展示平台。所谓无拘束,体现在它并不要求开发者先接受一套完全不同的框架范式;所谓高度模块化,则体现在模型、并行、内核替换和训练步骤组织都可以通过配置和插件方式组合。这种参考实现的价值,不在于提供一个只能照搬的样板,而在于把可复用的组织方式呈现出来,方便开发者按自己的模型和集群条件取舍。

过去,希望在 Google Cloud TPU 上训练 PyTorch 模型的开发者面临一些挑战:要么将整个代码库重写为 JAX,要么与遗留的 torch_xla 周旋。前者意味着迁移成本和维护成本,后者则意味着要在既有接口、编译行为和分布式训练细节之间反复适配。这一范式已正式改变。随着 TorchTPU 的发布,Cloud TPU 现在拥有直接集成到 PyTorch 核心接口中的原生后端(torch.device("tpu"))。如今只需对设备初始化代码做最小改动,即可让训练脚本使用 TPU。对开发者而言,这种变化的意义在于,原有 PyTorch 代码结构和训练习惯可以尽可能保留,而不必因为设备切换而整体改写技术栈。因此,设备切换更多是初始化和配置层面的工作,而不是对训练逻辑的重新设计。

然而,提供设备兼容性只是成功的一半,开发者还需要高性能、生产级的分布式训练配方。设备后端解决了“能不能在 TPU 上跑”的问题,而分布式训练配方解决的是“能不能在大规模集群上跑得好、跑得稳、跑得可维护”的问题。这正是 TPU 上的 TorchTitan 的用武之地。TorchTitan TPU 是 Meta TorchTitan 实现的一个分支,经过调整以支持在 Google Cloud TPU 上进行模型训练。该分支可在 https://github.com/google-pytorch/torchtitan/ 获取,相关代码可在 https://github.com/google-pytorch/torchtitan/ 获取。

为什么选择 TPU 上的 TorchTitan

Google 和 Meta 没有要求工程团队自行发明定制的 TPU 分片策略,或从零手写底层 XLA 通信 pass,而是直接在 TorchTitan 内部共同开发了 TPU 原生执行 pass。TorchTitan 是在 Google Cloud TPU 上扩展 PyTorch 的权威载体。这个选择的意义在于,TPU 上的训练优化并不是外挂在 PyTorch 之外的一套孤立方案,而是被放回到 TorchTitan 的模型定义、并行配置和训练循环之中,通过原生执行 pass 与既有结构衔接。共同开发意味着 TPU 相关优化与上游 TorchTitan 的结构保持同一套语境,而不是在另一套代码路径中单独维护。这样,开发者在 TorchTitan 中看到的模型组织方式和配置方式,仍然可以延续到 TPU 路径上;而 TPU 相关的执行优化,也可以在同一套参考实现里被验证、对比和复用。

旨在展示大规模预训练与后训练

TorchTitan 为大型稠密模型(如 Llama 3 70B/405B 和 Qwen 3 8B/32B)、混合专家模型(如 Qwen 3 235B MoE)以及扩散 Transformer(如 FLUX.1 12B)的预训练提供了官方且经过实战检验的配方。这里的“配方”并不是一段孤立的启动脚本,而是围绕不同模型规模、不同架构类别和不同并行需求组织起来的一套可运行配置。稠密模型、MoE 模型和扩散 Transformer 在计算图结构、参数分布、通信模式和内存占用上并不相同,TorchTitan 将这些类别放在同一参考体系中展示,目的就是让开发者能够看到不同模型类别在训练组织上的共性与差异。因此,配方本身也是对比不同模型类别训练组织的参照。

除初始预训练外,TorchTitan 还作为后训练流水线中的可扩展训练器,例如用于组相对策略优化(GRPO)和强化学习(RL)对齐的 VeRL。在这些工作流中,TorchTitan 负责参数更新步骤,同时与 vLLM-TorchTPU 等高吞吐推理引擎同步权重。也就是说,TorchTitan 的角色并不局限于从零开始做预训练;在后训练阶段,它仍然可以作为训练器承担参数更新,并与推理侧的高吞吐引擎配合,形成训练与推理之间的权重同步流程。这种定位使 TorchTitan 覆盖的不只是单次预训练任务,而是更完整的模型训练与对齐链路。

模型定义与模型分区解耦

TorchTitan 中的模型定义使用纯单设备 PyTorch(nn.Module)编写,不含 CUDA 专用代码。模型定义本身保持单设备视角,意味着开发者阅读模型代码时,看到的仍然是普通 PyTorch 模块结构,而不需要在一开始就同时理解所有分布式切分细节。集合通信要么由可组合的框架层(如 FSDP)插入,要么由声明式分片计划(如张量并行)插入,要么作为后端专用插件(如 MoE 层)插入。这种解耦带来的直接好处是,模型定义与模型分区可以分别演进:模型代码关注网络结构,分区与通信则由框架层、分片计划或后端插件承担。这种分工让模型代码更接近网络结构本身,阅读时不必同时处理分片、通信和内核替换等多个关注点。

TorchTPU 支持 C10D 集合通信 API 和 PyTorch DeviceMesh 抽象。二者结合,使 TPU 路径能够为模型选择应用哪些并行方式,以及使用哪些实现。C10D 集合通信 API 提供了集合通信操作的接口基础,DeviceMesh 抽象则用于描述设备网格与并行维度之间的关系。对于 TPU 路径而言,这意味着并行方式的选择不是写死在模型定义里的,而是可以在配置和执行层面进行组合与替换。开发者可以在保持模型定义相对稳定的前提下,调整并行策略和通信实现,从而适配不同规模、不同拓扑和不同性能目标。

可插拔架构

TorchTitan 从配置树构建模型,并且该配置树可以在模型构建之前被重写。这提供了一种简洁的方式,将模型的各个块替换为在 TPU 上运行更好的版本,而无需改动模型定义或共享的训练器循环。配置树先于模型构建发挥作用,意味着替换发生在模型实例化之前,而不是在训练循环中临时打补丁。对于需要针对 TPU 调整执行方式的场景,这种机制可以把“替换哪个块、启用哪个实现”收敛到配置层,减少对模型定义和训练器循环的侵入。从配置树入手,也便于把不同实验之间的差异限制在配置层,减少为每个实验复制模型代码的需要。

我们正在积极使用这一方案。TPU recipe 用 Splash Attention 替代标准注意力——这是一种 Pallas 内核,能够处理因果、滑动窗口和打包文档掩码,而无需将注意力矩阵实际物化;用融合 Pallas 内核替代最终投影和交叉熵损失,该内核从不将完整的 logits 张量写入 HBM;并用分组 Pallas 内核替代 MoE 专家矩阵乘法。每个内核都是通过 TorchTPU 的 torch.tpu.pallas.jax_op 装饰器将 JAX 函数转换为 PyTorch 自定义算子,这就是新内核所需的全部粘合代码。每个替换都是一个配置开关,因此 recipe 可以将其开启,测试也可以将其与被替换的普通 PyTorch 路径进行对比。内核可以来自 tokamax,这是面向 TPU 和 GPU 的 OpenXLA 内核库。

从工程组织上看,这种可插拔方式把“模型结构”和“具体内核实现”分开了。模型仍然按原有方式定义,训练器循环也不需要为每个内核单独改写;需要替换时,通过配置开关选择对应实现即可。与此同时,测试可以将开启内核的路径与被替换的普通 PyTorch 路径进行对比,从而在同一套 recipe 结构中验证替换是否按预期工作。内核来源方面,tokamax 作为面向 TPU 和 GPU 的 OpenXLA 内核库,为这些替换提供了可用的内核来源。

编译友好的 FSDP 实现

FSDP2 是围绕 GPU 执行模型构建的。它的 all-gather 和 reduce-scatter 从模块钩子中作为显式集合通信调用发出,与计算的重叠来自于在专用 CUDA 流上运行它们并与事件同步。这些对编译器来说都是不可见的:集合通信位于被追踪区域之外,因此在 TPU 上,torch.compile 区域会在每个 FSDP 钩子处中断,整步图根本无法被捕获。TorchTPU 仅提供空操作的流和事件对象,以便 FSDP2 能够运行;XLA 并不需要它们,因为它根据数据依赖来调度工作。换句话说,FSDP2 在 GPU 执行模型下依赖钩子和显式集合通信来组织分片与重叠,而 TPU 路径希望把更多计算和通信纳入编译器可见的图中。两者在执行模型上的差异,使得 FSDP2 的钩子式组织在 TPU 上难以直接形成整步图。因此,问题不在于 FSDP2 本身能否运行,而在于它的执行组织方式能否与编译器的追踪范围对齐。

SimpleFSDP 则采取了编译器的视角。参数分片是一种 DTensor 参数化:读取模块的权重会执行从分片到复制的 redistribute,这就是 all-gather,而其自动求导的反向传播就是 reduce-scatter。没有钩子,也没有显式的集合通信调用,因此这两个集合通信都是被追踪图中的普通节点,无论该图是逐块的 torch.compile 区域,还是 Graph Trainer 的单次 make_fx 步骤。XLA 编译器会在需要它们的矩阵乘法之前调度 all-gather,并在单个程序内将 reduce-scatter 与反向计算重叠。混合精度是同一机制的一部分,即在该 redistribute 上设置 gather dtype(bf16 参数)和 reduce dtype(fp32 或 bf16 梯度)的策略。多切片场景下的混合分片是在二维网格上的相同代码:在切片内通过 ICI 进行分片,在切片间通过 DCN 进行复制。

在 FLUX 上,正是这一点使 TorchTitan 达到了与 JAX MaxDiffusion 99% 的性能持平:SimpleFSDP 块的逐层 HLO 是一个单一模块,其中权重 all-gather、矩阵乘法、注意力和归一化融合在一起,这正是 XLA 所擅长优化的程序形态。这里的重点不只是“换一个 FSDP 实现”,而是让参数分片以编译器可理解的方式进入计算图。集合通信不再是图外钩子,而是图中节点;编译器因此可以把 all-gather、矩阵乘法、注意力和归一化放在同一个程序形态中统一调度。对于 TPU 路径而言,这种程序形态与 XLA 的优化方式相契合,也正是 FLUX 上能够接近 JAX MaxDiffusion 性能的原因。

Graph Trainer:捕获整个训练步骤

许多 PyTorch 训练器要么在 eager 模式下使用 CUDA 图来减少启动开销,要么将 torch.compile 应用于孤立区域,通常一次一个 transformer 块。TorchTPU 尚不支持 PyTorch 的 torch.Stream 抽象,这限制了将基于 eager 的 FSDP2 与逐层 torch.compile 混合使用的性能。SimpleFSDP 通过以兼容编译的方式表达参数分片来提供帮助,无论是使用逐层 torch.compile 还是全图捕获。也就是说,SimpleFSDP 解决的是参数分片如何进入编译图的问题;在此基础上,Graph Trainer 进一步把捕获范围从单个块或局部区域扩展到完整训练步骤。

TorchTitan 的 Graph Trainer 提供完整的训练步骤捕获(前向、损失和反向),使用 PyTorch 的 make_fx 追踪器提前生成一个 FX 图,跳过 AOTAutograd 分区,因此整个计算对 XLA 可见。GraphTrainer 还运行优化 pass:实现基于图的激活内存策略,决定保存、重计算或卸载哪些内容。然后训练步骤作为单个 XLA 程序执行。完整步骤捕获的价值在于,前向、损失和反向不再是分散的 eager 片段或局部编译区域,而是作为一个整体交给 XLA。基于图的激活内存策略也在这一层决定保存、重计算或卸载,从而使内存安排与整步图组织结合起来。

这正是 XLA 为之构建的模型,它使 TPU 上的 PyTorch 训练在概念上与 JAX 相同,其中整个训练步骤是一个 jitted 函数。将整个步骤作为一个图拥有,也是使大模型编译技术成为可能的原因:逐层扫描(scan over layers),将解码器层作为单个循环体运行,使编译时间和内存不再随深度增长;以及图分割器(graph splitter),将步骤切分为分别编译的前向和反向程序,中间激活卸载到主机内存。在 Qwen3 235B 上,此路径达到 29%+ MFU。

优化器也可以加入图中:虽然 fused_adam 优化器性能非常高,但函数式 AdamW 更新可以被追踪到训练步骤中(functional_adamw_step),并确保一次迭代在第一个前向操作和权重写回之间没有主机端工作。在 Qwen3-8B 上,此路径达到 51-52% MFU。把优化器更新纳入图里,意味着一次迭代从第一个前向操作到权重写回之间,可以尽量避免主机端工作插入其中;这与整步图捕获的思路一致,也是 Graph Trainer 路径能够覆盖完整训练步骤的一部分。把优化器更新也纳入同一张图,进一步减少了图外的调度与同步空间。

TPU 模型优化手册

下面的每个杠杆都在 TorchTitan TPU 优化指南 中描述,并且几乎所有这些都已接入 recipes。对于大多数模型,在 TPU 上获得良好 MFU 是在现有 recipe 上进行一系列配置更改,而不是编写新代码。顺序很重要,因为每一步都会改变下一步所测量的内容。TorchTitan 中的许多优化都以即用型构建块的形式提供,可以通过翻转标志来启用(见下图)。这里需要强调的是,优化手册的组织方式不是把一堆互不相关的开关堆在一起,而是按照执行方式、分片与精度、内存与批大小、编译器与通信等层面逐步推进。每一步都会改变后续步骤所面对的测量结果,因此按顺序建立基线、调优计算与内核、优化内存与批大小,再进入编译器、通信与性能分析,才更容易判断每一项配置变化带来的影响。下面的顺序安排也是为了让每个杠杆的收益更容易被单独观察。

1. 建立基线

  • 选择步骤的执行方式:eager、compile 或 Graph Trainer。 Eager 模式几乎无需更改即可在 TPU 上运行 PyTorch 模型,这使其成为引入模型和调试模型的正确场所。它不是性能配置:每个操作都是自己的程序,TPU 在启动之间空闲。TorchTPU 的 延迟融合 eager 模式(--tpu_config.eager_mode=DEFER_AND_FUSE)通过让 XLA 跨操作边界融合,在无需更改代码的情况下恢复部分性能,并且 recipes 保持其开启以覆盖编译区域之外的任何内容。启用 逐块 torch.compile(--compile.enable)是将调试配置转变为性能配置的关键:每个 transformer 块成为单个 XLA 程序,因此其操作被融合,一次启动而不是逐个启动,并与块的集合通信一起调度。块必须可追踪,这排除了其中依赖数据的 Python,这就是模型所放弃的全部。Graph Trainer 更进一步(--tpu_config.use_graph_trainer),让整个训练步骤——前向、损失、反向和优化器更新——被捕获为一个程序。整个步骤必须可追踪,你得到的是一个完全没有 eager 胶水的步骤,加上第 5 步中的大模型技术。

  • 使用 SimpleFSDP 和混合精度策略进行分片。 SimpleFSDP 将分片表达为追踪图中的集合通信操作(--parallelism.use_simple_fsdp),因此编译器可以针对其周围的矩阵乘法来调度 all-gather 和 reduce-scatter。FSDP2 本身针对 eager 性能进行了优化,但这也使其难以追踪进图。将其与 bf16 参数和 fp32 梯度归约搭配使用:计算以 bf16 运行,而主权重和归约保持 fp32,这是每个 TPU 配方都采用的设置。这里的重点在于,分片方式与精度策略需要一起考虑:SimpleFSDP 让集合通信进入图,混合精度策略则明确计算、主权重和梯度归约分别使用什么精度。二者结合,才构成 TPU 配方中可复用的基线分片设置。

  • 对于大模型(约 100B+ 参数),启用 scan 或拆分图,并卸载激活值。 随着深度增加,单个展开的步骤图会停止编译,并且它会保持每一层保存的输入存活直到反向传播。 对层进行 Scan(--tpu_config.use_scan_layers)将解码器作为单个循环体运行,因此编译时间和内存不再随深度增长,并将这一个堆叠的激活值卸载到主机内存;这是 Qwen3 235B 和 Llama 3 405B 采用的路径。 图拆分器(--tpu_config.use_graph_split)保持层展开,但将前向和反向,以及可选的每个层组,编译为单独的程序,并在其间卸载激活值。两者都构建在 Graph Trainer 之上。对于大模型来说,问题不只是单个操作是否被编译,而是整个展开步骤图是否还能被编译、激活值是否会在反向传播前一直占用内存。Scan 和图拆分器分别从循环体组织和程序切分两个方向处理这一问题,并且都以 Graph Trainer 为基础。


2. 调优计算与内核

  • 开启 Pallas 内核。 Splash attention(--splash_attention_kernel.use_splash_attention_kernel)从不物化注意力矩阵,并处理因果、滑动窗口和打包文档掩码;它在长序列长度下最为重要。 融合线性交叉熵损失(配方中的 PallasCrossEntropyLoss)一次一个词表分块地计算 LM-head 矩阵乘法、softmax 和损失,因此完整的 logits 张量永远不会写入 HBM。它的主要价值在于内存,下一步将其转化为吞吐量。对于 MoE 模型,分组专家矩阵乘法和成对的 gate/up 内核(use_pallas_paired_grouped_mm)用每层一个内核取代了对专家的循环。这些都是配方中的开关,并且每个都与其替代的普通 PyTorch 路径进行了测试对比。开启 Pallas 内核并不是单纯追求“用了新内核”,而是针对注意力、损失和 MoE 专家计算中具体的内存与执行形态做替换;同时,每个开关都保留与普通 PyTorch 路径的对比关系,便于验证替换效果。

  • 调优内核分块大小。 Splash attention、融合损失和 MoE 内核各自暴露其块大小(sa_block_* 等),默认值只是起点而非最优值。根据模型形状和 TPU 代际,在限定的 VMEM 预算(xla_tpu_scoped_vmem_limit_kib)内调优它们,并预期在 Trillium 上调优的值不会延续到 Ironwood。配方中包含了每个模型和拓扑的调优值。分块大小之所以需要单独调优,是因为默认值并不针对具体模型形状和具体 TPU 代际;在 VMEM 预算约束下,不同模型和拓扑可能需要不同的块大小。配方中保留每个模型和拓扑的调优值,也是为了让这些结果可以被复用和对比。


3. 优化内存与批大小

  • 提高批大小。 在小规模下,每芯片批大小是最大的单一杠杆,因为它提高了每个启动程序所做的工作量。将其推高直到模型受限于 HBM;融合损失和注意力内核正是释放内存以实现这一点的关键。在大切片上,请记住全局批大小是每芯片批大小乘以芯片数量,因此应将其设置为模型能够使用的规模,而不是芯片能够容纳的规模。提高批大小的逻辑并不是盲目追求更大的数字,而是看每芯片批大小能否提高每个启动程序的工作量,并在 HBM 限制内找到合适位置。融合损失和注意力内核释放出的内存,为推高批大小提供了空间;而在大切片上,还需要区分每芯片批大小与全局批大小,避免把“芯片能容纳”误当成“模型能有效使用”。


4. 调优编译器、通信与性能分析

  • 调整 XLA 和 libtpu 标志。每个配方都带有自己的标志组合,例如 SparseCore 延迟隐藏调度器和分层 reduce-scatter,并为每个标志附有注释说明,而 --libtpu-init-flags 允许你从命令行设置标志。标志永远不会改变模型计算的内容,但可以改变计算方式:纯调度标志会让损失保持逐位相同,而改变融合或归约顺序的标志(分层 reduce-scatter 就是其中之一)会改变舍入结果。因此,每次扫描后都要检查第 1 步的损失和梯度范数。逐位相同意味着该标志没有代价。微小差异意味着舍入顺序发生了变化,只有与基线配方进行损失曲线比较并确认安全后,才可以采用。调整标志时需要区分“改变计算方式”和“改变计算内容”:前者是调度与执行层面的变化,后者则不是这里的目标。纯调度标志可以让损失保持逐位相同;改变融合或归约顺序的标志则可能改变舍入结果,因此需要回到第 1 步检查损失和梯度范数,并与基线配方进行损失曲线比较。

  • 做性能分析,找到瓶颈,然后回到能解决它的调节手段。在几个稳态步骤上捕获 xprof 跟踪(--profiler.enable_profiling);TorchTPU 性能分析指南介绍了在 TorchTPU 上捕获跟踪的方法,xprof 文档介绍了相关工具。跟踪回答一个问题:步骤时间花在哪里?接下来有两份参考资料:Cloud TPU 性能指南解释了 XLA 层面的调节手段(填充、张量维度、批大小、融合)以及各自适用的场景,而扩展手册中的如何对 TPU 程序做性能分析一章展示了如何逐算子阅读 TPU 跟踪。性能分析的作用是把“应该调什么”从猜测变成定位:先在稳态步骤上捕获跟踪,回答步骤时间花在哪里,再回到相应的调节手段。Cloud TPU 性能指南和扩展手册中的相关章节,分别提供了 XLA 层面调节手段的解释和逐算子阅读 TPU 跟踪的方法。


案例研究

为了验证 TorchTitan 在不同类别的模型上都能高效运行,我们在 TPU v7x(Ironwood)上对其中几个模型进行了调优和扩展。在大规模下,Llama 3 405B(大型稠密模型)在 128 到 1,024 个芯片上保持约 57% MFU。Qwen3 235B(大型 MoE 模型)在单个 1,024 芯片切片上达到 32.42% MFU,在跨八个切片的 8,192 个芯片上达到 30.51%。Muse Glimmer 30B(现代稠密模型)在 128 个芯片(4x4x8)上达到 43.4% MFU。FLUX.1(扩散模型)在 1,024 个芯片(8x8x16)上达到 19.4% MFU。

对于所有模型,我们都运行了相应的调优与扩展流程,并在下文选取其中三个模型展开说明。这些结果来自同一套调优与扩展流程,下文选取的三个模型分别对应不同的模型类别和不同的调优重点。

以下案例研究展示了我们如何为其中三个模型实现上述结果,每个模型代表不同的类别:

FLUX.1

FLUX.1 是一个 120 亿参数的扩散 Transformer,这使它成为检验上述方法并非只适用于 LLM 的有用案例。我们在 TPU v6e-8 上以 1024x1024 分辨率训练它,使用 bf16 的 FSDP 和三个样本的批大小。开箱即用,在启用 FSDP2 和完整激活检查点的 eager 模式下,一步耗时 11.49 秒。按顺序应用该方法后,耗时逐阶段下降。延迟且融合的 eager 执行将 HLO 模块调用次数减少了 28%,步骤耗时降至 9.95 秒(提升 15.5%)。用 SimpleFSDP 替换 FSDP2 后,步骤耗时降至 6.52 秒(提升 52.6%):跟踪显示主要耗时在 FSDP2 于每次 all-gather 前将参数分片复制到扁平暂存缓冲区,之后再复制回各参数张量;SimpleFSDP 直接对每个参数执行 all-gather,因此暂存缓冲区和两次复制都消失了(参见上文 SimpleFSDP 部分)。splash attention 内核配合序列打包和 segment id,使没有 MXU 周期浪费在填充上,将步骤耗时降至 5.55 秒(提升 17.5%),而逐块 torch.compile 将大型子图而非细粒度模块交给 XLA,并将控制流移出 Python 解释器,将耗时降至 3.02 秒(提升 83.8%)。这些阶段的变化按顺序记录下来,便于看出每一步分别解决了哪类瓶颈。

最后一步来自模型代码中的三处小型本地改写,性能分析指向了它们:将一个融合投影拆分为两个独立的线性层,使其输出不再需要被切片;将旋转嵌入简化为普通的逐元素运算;用 view 而非 transpose 来解包 Q、K 和 V。这些改动都没有改变模型的计算内容;每一处都消除了拷贝,并让 XLA 能融合更多计算图。它们共同将单步时间降至 2.78 秒(提升 8.6%),比起点快 4.1 倍,并达到同一硬件上基于 JAX 的 MaxDiffusion 约 99% 的吞吐量。

我们还将 FLUX 从 8 个 v7x 芯片扩展到 1,024 个,每个 TPU 保留三张图像。最佳配置从 8 芯片上的每步 2.53 秒(20.76% MFU)变为 1,024 芯片上的 2.71 秒(19.4% MFU),弱扩展效率为 93%。超过一个 64 芯片立方体后,由于模型规模紧凑,纯 FSDP 会变慢。通过 HSDP 进行混合分片解决了这个问题:它在每个 4x4x4 立方体内分片,并在立方体之间复制。我们使用了拓扑感知的设备网格,将并行策略最优地映射到物理 8x8x16 环面。

来源:https://aihot.news/items/h4dx2g41nbw5jofprsfwr2xmq(Google Developers Blog)
本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,请勿用于任何商业目的与商业用途,如需商用请支持正版!如亲下载后改变其用途与使用方式,与本站无任何关系,本站已经进行告知义务!我们只做安全认证测试如果资源侵犯了您的版权利益,请联系站长邮箱:dsymbcom@gmail.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则