蝉鸣报告（原爱报告知识星球）
近日，【零一万物】联合AI Infra分布式训练优化架构师张力寰发布了一份名为《千亿参数LLM的训练效率优化》的行业研究报告。这份报告深入探讨了在大规模语言模型（LLM）训练过程中如何提升硬件利用率和训练效率，涵盖了模型训练硬件利用率的影响因素、分布式训练效率提升策略、FP8训练经验分享、MoE训练经验分享以及Goodput提升等多个方面。报告中不仅详细介绍了各种并行训练技术，如数据并行、张量并行、流水线并行等，还分享了FP8混合精度训练和MoE（Mixture of Experts）模型训练的实践经验，以及如何通过优化Goodput来提升AI系统效率。这份报告为AI领域的专业人士提供了丰富的技术洞察和实用指导，是理解当前大规模语言模型训练优化趋势的重要资料。
在人工智能领域，大型语言模型（LLM）的训练效率一直是研究的热点。这份报告，名为《千亿参数LLM的训练效率优化》，为我们揭示了在训练这些庞大模型时所面临的挑战和解决方案。
报告首先提到了Llama 3.1模型，这是一个技术报告，涉及了405B参数的模型，使用16K H100训练集群，在54天内完成了预训练。然而，模型算力利用率（MFU）仅为40%左右，有效训练时间占比（Goodput）也仅有90%。这些数据表明，尽管我们拥有强大的硬件，但在实际训练中，效率并不高。
MFU和Goodput是衡量AI系统效率的两个关键指标。MFU指的是模型算力利用率，即模型每秒能完成的浮点运算次数。Goodput则是衡量AI系统效率的一个指标，包括调度Goodput、运行时Goodput和程序Goodput。这些指标对于优化训练过程至关重要。
在分布式训练效率提升方面，报告详细介绍了数据并行（Data Parallelism）、张量并行（Tensor Parallelism）、流水线并行（Pipeline Parallelism）和专家并行（Expert Parallelism）等技术。这些技术通过不同的方式分割模型和数据，以提高训练效率。例如，数据并行适用于模型较小、数据量较大的情况；而张量并行则通过均匀拆分模型来减少通信量，尽管这可能会增加通信量。
报告还提到了环状注意力（Ring Attention）技术，这是一种在线softmax的基本原理，通过在外循环中计算设备间的块注意力，在内循环中每个设备计算块注意力和前馈操作。然而，这种技术存在负载不均衡的问题，需要进一步优化。
FP8训练是报告中的另一个重要话题。FP8是一种混合精度训练技术，部分计算采用FP8，前向用E4M3，反向用E5M2。这种训练方式可以提高训练效率，但也需要合适的缩放方式，如即时缩放和延迟缩放。
MoE（Mixture of Experts）结构是另一种提高训练效率的方法。这种结构通过细粒度专家和共享专家来实现通信计算并行，以及动态路由实现。这些技术可以提高模型的灵活性和效率。
Goodput优化也是报告中的一个重要部分。通过自研集群训推任务调度系统，可以实现拓扑亲和调度和故障监控与定位。Fast Ckpt技术通过将GPU内存同步到CPU内存，然后异步保存到磁盘，可以持续优化训练过程，提升Goodput。
总结与展望部分强调了MFU和Goodput的重要性，并提出了分布式训练效率提升的多种方法，包括FP8训练和MoE训练。这些技术的发展和应用，将为未来AI模型的训练效率带来革命性的变化。
这篇文章的灵感来自于《千亿参数LLM的训练效率优化》这份报告。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读。这些报告我们都收录在同名星球，可以自行获取。
以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。
【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。
