【百度】2024年大模型时代的异构计算平台报告

近日，百度发布了《2024年大模型时代的异构计算平台报告》，这份报告深入探讨了大模型时代下异构计算平台的发展和挑战。报告详细分析了GPT-3等超大模型带来的效果飞跃、AI通用性的显著提升，以及这些技术进步如何推动基础设施的演进。同时，报告还涉及了超大模型训练对基础设施的需求，包括软硬件结合的联合优化、算力墙和存储墙的挑战，以及如何通过技术创新来解决这些问题。这份报告中包含了大量关于大模型训练、基础设施优化以及未来发展趋势的有价值内容，对于理解人工智能领域的最新进展和挑战具有重要意义。

大模型时代的异构计算平台

GPT-3开启了大模型时代，这个拥有1750亿参数的模型，仅用32条样本就能达到BERT的效果，提升了40%。大模型的出现，让AI的通用性显著提升，能够处理各种新任务，包括数学计算、阅读理解、多轮问答等。这些爆款应用拉动了大模型训练的需求，而大模型训练需要足够的数据和算力。

大模型训练对基础设施的需求巨大。面向大模型的基础设施全景图包括AI框架、加速库、资源管理层、AI平台、存储服务和硬件资源。从AI框架入手，解决大模型的技术挑战，需要对模型和数据进行切分。算力墙和存储墙是大模型训练中的两大难题。算力墙指的是大模型参数量与计算量激增，需要分布式加速。存储墙则是千亿参数需要2TB存储，单卡显存放不下，需要更多存储空间。

为了解决这些问题，出现了多种并行策略，包括数据并行、流水线并行、张量并行和分组参数切片。数据并行是将数据集进行切分，不同卡模型相同，数据不同，需要梯度同步。流水线并行是每张卡保存部分层，通过点对点Send/Recv同步激活与梯度。张量并行是将单层操作切分到多卡进行。分组参数切片是将参数与优化器状态在参与数据并行的卡间切分，计算时按需通信同步。

软硬件结合的联合优化也是大模型发展的重要方向。基于静态图的多后端加速架构，包括基础算子库、图捕获、图优化、图转换和多后端。动态图与静态图的融合，可以让用户使用易用的动态图开发，再通过静态图优化执行。此外，还有基于AST的代码替换、社区方案TorchDynamo、后端加速、计算加速和通信优化等技术。

大模型发展推动基础设施演进。参数规模持续增加，算力需求增长10000倍。多模态训练和异构资源的使用，让集群与业务的演进更加复杂。基于统一视图的端到端优化，可以支持任意模型、资源输入，智能化自动选择最优并行策略。

百度百舸·AI异构计算平台2.0，业务场景包括产业金融、智算中心、生命科学、自动驾驶、城市大脑、工业互联网等。平台提供AI容器、AI加速、AI存储、AI计算等服务，支持GPU调度、AI作业调度、数据湖存储加速、分布式训练加速、海量数据湖存储、对象存储BOS、异构芯片高速互联、弹性训练、可观测性、推理加速、高性能存储、并行文件存储PFS、AI服务器X-MAN、昆仑芯GPU、RDMA InfiniBand等技术。

这篇文章的灵感来自于《2024年大模型时代的异构计算平台报告》。除了这份报告，还有一些同类型的报告，也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。