概念导读
在 Aurora 超级计算机上大规模 MoE LLM 预训练的工程实践和 scaling 经验。
- 核心
- 关键点
- Related
Scalable MoE 预训练
核心
在 Aurora 超级计算机上大规模 MoE LLM 预训练的工程实践和 scaling 经验。
关键点
- MoE 在超大规模分布式训练中的通信/计算平衡
- Expert parallelism 的实现细节
- 千卡级训练的稳定性技巧
在 Aurora 超级计算机上大规模 MoE LLM 预训练的工程实践和 scaling 经验。
在 Aurora 超级计算机上大规模 MoE LLM 预训练的工程实践和 scaling 经验。