蝉鸣报告（原爱报告知识星球）
近日，清华大学发布了一份题为“面向国产智能算力软件生态”的行业研究报告。该报告深入分析了人工智能在全球范围内的发展态势，特别是在中美两国的对比中，详细阐述了人工智能产业的规模、人才规模、专利数量以及数据量规模的预测。报告特别强调了大模型对算力的需求，以及在外部限制增强的背景下，算力国产化的必要性和国产算力软件生态面临的挑战。此外，报告还展示了清华大学在智能算力核心基础软件方面的研究成果，以及如何通过软件生态优化来提升国产算力的效能。这份报告为理解人工智能产业的发展趋势、国产算力的重要性以及软件生态的关键作用提供了宝贵的信息和深刻的见解。
人工智能的发展正在全球范围内引发一场科技竞赛。中美两国在这场竞赛中处于领先地位，美国在企业数量、融资规模、计算力指数和AI人才规模等方面均领先于中国。然而，中国在AI专利数量和数据量规模上展现出强劲的增长势头。随着科技企业的全面AI转型，全球科技企业AI业务收入情况显示，美国企业在营收和占比上占据主导地位，而中国企业如阿里巴巴、百度和华为也在积极布局AI产业。
AI技术的发展和产业应用正步入爆发期，众多行业将被改变、重塑、甚至颠覆。AI 2.0带来的平台型机会将比移动互联网大十倍，这为中国提供了平台竞逐的机会。在新平台上，所有用户入口和界面都将被重写，能够建立下一代平台的公司将会取得巨大的优势和话语权。
人工智能被广泛应用到很多重要领域，包括具身智能、自动驾驶、公共安全和科学计算等。大模型对算力产生爆发式需求，算力存在于大模型生命周期的每一环，包括模型预训练、后训练、微调和推理。这些环节对算力的需求庞大，尤其是实时处理用户请求时，对算力的需求更为强劲。
在人工智能领域，算力成本居高不下，成为大模型产业的主要开销。算力成本占大模型企业开销的大部分，而人力和数据成本相对较低。外部限制的增强使得算力国产化成为必然趋势。中国AI内循环加速到来，数据、算法、算力等要素全面进入本地化时代。国产AI算力总量和占比快速提升，国家力量推动智算中心建设，引导国产算力发展。
国产算力持续增长，在智能产业飞速发展的大背景下，各个省市大力建设智算、超算中心，但利用率普遍偏低。国产智能算力面临软件生态的挑战，国产算力易得、软件生态欠缺。深度学习需要多层软件栈，包括编程语言、编译器、算子库等，国产智能算力软件生态有待提高。
要改变国产大模型的生态系统不好的局面，需要做好10个软件，包括并行系统、编程框架、通信库、AI编译器、算子库、编程语言和底层系统等。清华大学相关研究成果包括团队自研系统，并行加速、编程框架、通信库、算子库、AI编译器、编程语言和底层系统等。
八卦炉是智能算力核心基础软件国产神威超算平台实现的关键。国产算力基础设施大模型训练对系统的硬件峰值性能提出要求。神威新一代超算系统具有强大的FP64和FP16性能，相当于1.8万块英伟达A100。八卦炉支撑多个大模型的训练任务，包括北京智源研究院悟道2.0、阿里巴巴M6大模型等，以及多个AI for Science应用程序。
并行层、通信库、容错系统、计算层、编程语言、编译器、加速库、底层系统、内存系统、存储系统和调度系统构成了八卦炉基础软件系统。八卦炉支持更多大模型训练，已经在国产超算系统成功移植百川、LLAMA等大模型，精度验证与国产超算与其它平台一致。
大模型推理对显存的压力巨大，容量挑战是GPU显存容量难以满足大模型推理的需求。FastDecode是高吞吐推理优化方案，与传统解码方案相比，FastDecode提供更高的计算效率和显存释放压力。FastDecode高吞吐推理软件系统提供高达7倍吞吐提升能力，如Llama-13b模型和某国产130b模型的推理加速。
八卦炉-摩尔芯片适配主流大模型移植与优化，混合专家模型并行训练加速。FastMoE采用新的并行策略，解决了显存容量不足、网络通信量过大、集群负载不均衡等问题。高性能图算融合编译器IntelliGen编译器擅长为Attention等访存密集型算子自动生成高性能执行代码。
大模型推理引擎-赤兔支持多元算力，不仅支持英伟达GPU，也为国产芯片提供优化支持。赤兔推理引擎可扩展，从纯CPU部署、单GPU部署、大规模集群部署可扩展。赤兔推理引擎开源，提供了编译优化、FP8推理优化、并行调优、混合精度等关键技术。
赤兔推理引擎支持在线FP8编译转换技术，解决国产AI芯片尚不支持FP8问题。赤兔推理采用FP8在线转换，节省一半资源，精度几乎无损。赤兔推理引擎支持单GPU完成DeepSeek大模型推理，将模型部分层MoE权重放到CPU主存上，用CPU计算MoE实现CPU+GPU混合推理，适合低并发应用场景。
发展人工智能领域，构建国产智能算力至关重要。智能算力的软件生态是当前制约我国人工智能发展的关键因素。硬件灵活性有限、软件相对灵活，软件给硬件赋能可以弥补硬件的很多缺陷。优秀的系统软件能够充分释放底层硬件算力的潜力。
这篇文章的灵感来自于这份报告，它为我们提供了对国产智能算力软件生态的深刻洞察。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。
以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。
【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。
