【Aicon】提升大模型知识密度_做高效的终端智能

近日，面壁智能CEO&联合创始人李大海发布了一份名为《提升大模型知识密度，做高效的终端智能》的行业研究报告。该报告深入探讨了大模型技术的发展，特别是面壁智能在大模型领域的创新和应用，包括其在知识增强、多语言模型、智能体平台等方面的突破。报告还提出了“面壁定律”，即模型知识密度每8个月提高一倍，这一趋势预示着端侧智能的巨大潜力。这份报告不仅展示了面壁智能在大模型技术前沿的持续引领，还揭示了人工智能科学化发展的方向，其中包含了许多关于如何提升模型效率和降低成本的宝贵见解。

在人工智能领域，大模型的发展速度令人惊叹。大模型，顾名思义，就是参数众多、能力强大的人工智能模型。近年来，大模型的发展呈现出两个明显的趋势：一是模型规模越来越大，二是模型的“知识密度”越来越高。

先说模型规模。2018年以来，业界见证了大模型规模法则（Scaling Law）。在大数据和大算力的支撑下，模型越大，智能水平越高。以面壁智能为例，2019年发布世界首个知识增强大模型ERNIE，2020年发布国内首个中文大模型CPM-1，2021年发布持续学习大模型CPM-2，2022年发布可控生成大模型CPM-3，2023年发布第三代千亿参数多模态大模型CPM-Cricket，评分超越GPT-3.5，逻辑能力比肩GPT-4。短短几年时间，模型参数量从几十亿飙升到千亿级别。

再说知识密度。知识密度是指模型能力的参数效率，即模型能力与模型参数的比值。随着数据、算力、算法的协同发展，模型的知识密度持续增强。过去四年，大模型的知识密度平均每8个月翻一倍。以面壁智能2024年2月发布的MiniCPM 2.4B为例，其知识密度比2020年的GPT-3提高了约86倍。

大模型的知识密度为何如此重要？因为知识密度直接决定了模型的效率。在同等参数量下，知识密度越高，模型的性能越强；在同等性能下，知识密度越高，所需的参数量越少。这就意味着，更高的知识密度可以带来更高效的模型，可以用更小的模型实现更强的性能，或者用同等大小的模型实现更高的性能。

面壁智能的MiniCPM系列就是高知识密度的代表。以MiniCPM-2B为例，其在2B参数量下的性能就超越了7B参数量的Mistral-7B和13B参数量的Llama2。而且MiniCPM-2B的推理成本极低，每秒处理170万tokens的成本仅为1元人民币，远低于GPT-4的4700token/元。这得益于面壁智能在模型训练方法和数据质量上的持续优化。

更难能可贵的是，面壁智能还把大模型做到了端侧。2023年2月发布的MiniCPM-2B就是一款旗舰级的端侧模型。它在保持高性能的同时，对硬件的要求极低，可以在消费级CPU和显卡上高效运行。这使得大模型可以部署到离用户最近的地方，提供实时的智能服务。

端侧大模型的意义重大。据统计，2022年全国数据中心的算力总规模仅为全国存量手机终端算力总规模的1/12。如果能把大模型部署到端侧，就能激活海量的端侧算力，释放出巨大的市场势能。

面壁智能的端侧大模型在多模态能力上也达到了国际领先水平。以MiniCPM-Llama3-V 2.5为例，其8B参数量就超过了多模态巨无霸GPT-4V和Gemini Pro等。更难能可贵的是，MiniCPM-Llama3-V 2.5还做到了180万像素的高清图像解码，突破了传统20万像素小图的局限。

总的来说，大模型正朝着更大、更高效、更端侧的方向发展。面壁智能凭借其在大模型领域的深厚积累，正在引领这一潮流。未来，大模型有望在更多领域发挥出更大的价值。

这篇文章的灵感来自于一份行业研究报告。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读。这些报告我们都收录在同名星球，感兴趣的朋友可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。