【中国信通院】大模型基准测试体系研究报告(2024年)

中国信息通信研究院近日发布了《大模型基准测试体系研究报告(2024年)》。该报告深入探讨了大模型技术的发展现状、基准测试体系的构建以及未来发展趋势，旨在为大模型技术的研究与应用提供指导和参考。报告中详细介绍了大模型基准测试的重要性、现状分析、体系框架以及未来展望，涵盖了测试指标体系、测试数据集、测试方法和测试工具等多个关键要素，对于推动大模型技术产业的健康发展具有重要意义。报告内容丰富，为学术界和产业界提供了宝贵的参考和启示。

大模型基准测试是衡量人工智能技术发展水平的重要手段。近年来，随着技术的不断进步，大模型基准测试体系也在不断完善。2024年，《大模型基准测试体系研究报告》由中国信息通信研究院发布，为我们提供了一个全面、客观、规范的大模型基准测试方法论。

报告首先回顾了大模型基准测试的发展现状，指出了当前基准测试存在的问题和挑战。例如，业界对于大模型应测哪些内容、如何测、使用哪些评测集并没有统一的规范，这容易导致大模型评测榜单结果存在差异，很难精确对比大模型能力。此外，当前一些行业仍然缺乏公开的高质量评测数据集，这加大了对大模型在实际场景中进行全面评测的难度。

为了解决这些问题，报告提出了一套系统化构建大模型基准测试的框架——“方升”大模型基准测试体系。该体系涵盖了大模型的测评指标、方法、数据集等多项关键要素，旨在形成一个全面、客观、规范的大模型基准测试的方法论。其中，测试能力主要规定了测试维度与指标，其由“三横一纵”的框架构成，“三横”自顶至下依次为大模型的行业能力测试、应用能力测试和通用能力测试，而“一纵”为大模型的安全能力测试。

在通用能力测试方面，“方升”测试体系将全面吸收产学研各界的优秀成果，并在评测大模型的生成能力和内容可靠性等方面进行重点探索，打造全面和坚实的通用能力测试底座。在行业测试领域，“方升”测试体系进行重点布局，助力大模型赋能千行百业。在大模型实际落地过程中，通常会用行业数据对基础大模型进行微调得到行业大模型，而后将行业大模型应用于实际业务中。然而，由于每个行业的需求和应用场景不同，因此评测方案和数据集也不相同，评测难度明显提升。在“方升”测试体系中，已针对多个重点行业中的典型应用场景进行梳理，形成“通用-知识-场景-安全”的多维度评测方案，并在政务、电信等行业进行验证。

在应用测试方面，“方升”测试体系面向大模型的应用测试进行重点探索，解决大模型业务落地的“最后一公里”问题。当前大模型常见的落地场景包括智能客服、知识管理、数据分析、办公助手、内容创作、代码生成等。在上述领域中，为了保证大模型生成结果的准确性，通常会利用外挂知识库的方式进行技术落地。随着大模型能力的提升，可利用外部工具完成更为复杂的任务，例如网络购物、数据库操作等，这需要大模型智能体技术的支撑。“方升”测试体系将针对智能客服、知识管理、RAG、数据分析、代码助手、办公助手、AGENT、具身智能等多个重点应用领域的测试方法进行研究，并通过设计合理的评测指标对实际任务的落地效果进行评估，为大模型应用效果评估遇到的评测数据缺乏问题提供解决方案，全面衡量大模型在实际业务落地中发挥的作用。

安全能力是保障大模型实际落地应用的重要基石，已经成为人工智能领域的核心议题。AI Safety Benchmark 着力打造公平公正、面向产业应用的大模型安全能力测试体系，为大模型产业安全健康发展保驾护航。一是数据集层面，构建完备的安全测评数据集，涵盖 40 余万条数据，26 个细粒度安全类别和 4 种数据模态。从内容安全、数据安全、科技伦理等方面综合评估大模型安全能力。其中，内容安全涉及价值观、违法违规等；数据安全包括个人隐私、企业机密等；科技伦理包括歧视偏见、心理健康、AI 意识等。二是评测指标层面，设置科学的测评指标，从安全性和负责任性两个角度分别衡量大模型的性能。

为了解决测试数据集管理难、大模型测试“刷榜”等问题，“方升”测试体系提出自适应动态测试方法对大模型进行评测，以保证大模型基准测试能高质、高准、高效地完成。自适应动态测试方法包含三个关键部分，即测试数据标签化管理、动态测试数据库和高质量测试数据抽样算法。其中测试数据标签化管理重点解决测试数据集格式繁多、难管理问题，动态测试数据库主要解决大模型测试“刷榜”和评测数据“静态化”问题，高质量测试数据抽样算法主要解决大模型的精准缺陷挖掘困难高、测试效率较低等问题。

通过“方升”大模型基准测试体系的实施，可以全面评估大模型在不同场景下的表现，为大模型的产业应用提供有力支撑。同时，该体系也为大模型的研究方向和应用路线提供了指导，有助于推动大模型技术的持续发展和创新。

这篇文章的灵感来自于《大模型基准测试体系研究报告(2024年)》。除了这份报告，还有一些同类型的报告，也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。