【中邮证券】计算机-端侧大模型近存计算_定制化存储研究框架

中邮证券研究所近日发布了《计算机-端侧大模型近存计算、定制化存储研究框架》报告，该报告深入探讨了端侧大模型、近存计算技术以及定制化存储的发展现状和未来趋势。报告指出，随着人工智能技术的飞速发展，大型语言模型在自然语言处理领域的突破引领了技术进步的新浪潮，端侧AI市场的全球规模正以惊人的速度增长。报告中详细分析了存算一体技术、NPU在端侧大模型中的应用，以及先进封装技术对异构计算架构实现的重要性。这份报告为投资者提供了丰富的行业洞察和投资参考，是理解当前端侧AI技术发展和市场动态的重要资料。

端侧大模型近存计算和定制化存储研究框架为我们揭示了人工智能领域的一个重要趋势：大型语言模型（LLMs）正从云端走向端侧设备。这一转变不仅仅是技术进步的体现，更是市场需求和用户体验的必然选择。端侧AI市场的全球规模预计将从2022年的152亿美元增长到2032年的1436亿美元，近十倍的增长预示着端侧AI技术将在多个行业中扮演越来越重要的角色。

大模型赋能端侧AI，这一变革的核心在于大型语言模型在自然语言处理（NLP）领域的突破。自从2017年Transformer架构诞生以来，一系列模型如OpenAI的GPT系列和Meta的LLaMA系列等崛起，它们在云端服务器上的部署虽然保证了强大的计算力，但也带来了网络延迟、数据安全和持续联网要求等挑战。端侧部署的探索应运而生，它不仅提供了更快的响应速度，还能在保护用户隐私的同时实现个性化体验。

存算一体技术的成熟为端侧AI大模型的商业化落地提供了技术基础。这一技术将存储与计算完全融合，有效克服了冯·诺依曼架构的瓶颈，实现了计算能效的数量级提升。存算一体技术分为近存计算（PNM）、存内处理（PIM）和存内计算（CIM），它们各自适用于不同的应用需求和性能优化目标。

NPU（神经网络处理器）在端侧大模型中扮演着重要角色。智能手机SoC利用NPU改善用户体验，赋能影像和音频，以及增强连接和安全。生成式AI用例需求在多样化要求和计算需求的垂直领域不断增加，这些AI用例面临功耗和散热受限的终端上使用通用CPU和GPU服务平台的不同需求，难以满足这些AI用例严苛且多样化的计算需求。因此，支持处理多样性的异构计算架构能够发挥每个处理器的优势，例如以AI为中心定制设计的NPU，以及CPU和GPU。

异构计算架构的实现需要先进封装技术的支持。先进封装技术旨在通过创新的封装架构和工艺，提升芯片性能、降低功耗、减小尺寸，并优化成本。后文参考SiP与先进封装技术，将先进封装分为两大类梳理：1基于XY平面延伸的先进封装技术，主要通过RDL进行信号的延伸和互连；2基于Z轴延伸的先进封装技术，主要是通过TSV进行信号延伸和互连。

CUBE技术是近存计算的一种方案，适合端侧AI。CUBE技术作为客制化的高宽带存储芯片3D TSV DRAM，专门为边缘AI运算装置所设计的存储架构，利用3D堆叠技术并结合异质键合技术以提供高带宽、低功耗、单颗256Mb至8Gb的存储芯片，并且可供模组制造商和SoC厂商直接部署。

在性能指标方面，评估设备端大型语言模型的性能时，延迟、推理速度、内存使用以及存储和能耗是关键指标。这些指标的优化使得设备端大型语言模型能够在更广泛的场景中高效运行，为用户提供更好的体验。同时，硬件技术的持续进步显著影响了设备端大语言模型的部署和性能。

在人工智能飞速发展的今天，大型语言模型（LLMs）在自然语言处理（NLP）领域的革命性突破引领着技术进步的新浪潮。端侧AI技术的商业化落地，不仅能够提供更快的响应速度，还能在保护用户隐私的同时，实现个性化的用户体验。存算一体技术的成熟，特别是近存计算、存内处理和存内计算的发展，为端侧AI大模型的部署提供了坚实的技术基础。NPU在端侧大模型中的应用，通过异构计算架构的实现，能够发挥每个处理器的优势，实现最佳应用性能、能效和电池续航，赋能全新增强的生成式AI体验。

这篇文章的灵感来源于《端侧大模型近存计算、定制化存储研究框架》报告。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。