【CSAGCR】基于大语言模型(LLM)的系统安全-关键授权实践

云安全联盟大中华区近日发布了一份名为《基于大语言模型(LLM)的系统安全：关键授权实践》的研究报告。该报告深入探讨了在设计使用大型语言模型（LLM）的系统时所面临的特定风险与挑战，提供了关于授权和安全相关的潜在风险的讨论，并说明了需要特别注意的事项。报告中概述了集成LLM到更广泛系统中的设计模式和最佳实践，包括扩展LLM功能的高级模式，如添加上下文或实现与其他组件和服务的交互。这份报告是为工程师、架构师以及隐私和安全专业人士提供的宝贵资源，它不仅涵盖了技术细节，还强调了避免让LLM参与授权决策和策略执行的重要性，同时持续验证身份和权限，并通过系统设计来减少潜在问题的影响。

在人工智能技术飞速发展的今天，大语言模型（LLM）已成为解决各种业务问题的关键工具。然而，这些模型的非确定性和对外部数据源的依赖，为系统安全和授权机制带来了前所未有的挑战。本文将探讨《基于大语言模型(LLM)的系统安全：关键授权实践》报告中的核心观点，揭示LLM在系统安全和授权方面的潜在风险，并提出相应的最佳实践。

报告明确指出，LLM的非确定性特点为系统架构师和工程师带来了独特的挑战，尤其是在涉及LLM外部数据源或LLM参与决策过程的场景中。LLM的输出可靠性评估显得尤为重要，因为它们可能会产生不可靠的结果，这需要根据业务流程的重要性进行仔细评估。此外，报告强调，授权策略的决策点和执行点应始终位于LLM之外，以保持安全性和控制。

在LLM系统的组成部分中，编排器、向量数据库、LLM缓存和验证器都扮演着关键角色。编排器负责协调LLM的输入和输出，管理与其他服务的交互，并降低安全风险。向量数据库在管理和查询高维数据向量方面非常有效，已成为AI系统的基石技术。LLM缓存可以加快响应速度，但需要进行控制检查以防止未经授权的访问。验证器为抵御攻击增加了防御层，尽管主要的安全保障应来自确定性授权。

报告中提到的挑战和注意事项涵盖了提示注入、系统与用户提示、微调和模型训练等方面。提示注入是一种针对LLM的攻击，目的是通过使用特定载荷来绕过初始或系统提示中设定的任何指令。越狱则是指促使模型绕过其内置的道德准则、安全措施和内容限制。微调是指对基础模型进行额外训练，以适应独特的领域或构建额外的安全防护措施。

使用LLM的系统的常见架构设计模式包括检索增强生成（RAG），这是一种使大语言模型能够利用模型本身之外的外部数据的方法。RAG通过从外部源检索相关数据并将其整合到提示中，使大语言模型能够基于更广泛、更及时的信息库进行响应。然而，这也带来了授权问题，因为发送给大语言模型的上下文数据可能会泄露给最终用户。

在机器学习的安全运维（MLSecOps）方面，报告强调了对训练数据、日志、模型版本控制及部署的访问受到适当限制的重要性。MLOps管道中的授权控制并不是使用LLM的系统所独有的，但需要特别注意数据投毒攻击的微妙性质。

报告的结论部分强调了将LLM排除在授权决策和政策执行之外的必要性，并提出了持续验证身份和权限、设计限制潜在问题影响的系统、实现默认拒绝访问策略和最小化系统复杂性等关键原则。此外，报告还提到了纵深防御方法的重要性，即整合各种安全层以防范潜在漏洞。

通过深入分析这份报告，我们可以看到LLM在系统安全和授权方面面临的挑战是多方面的，需要采取综合性的措施来应对。这包括对LLM输出的可靠性进行评估、确保授权决策在LLM之外进行、管理好LLM系统的各个组成部分以及采用纵深防御策略。只有这样，我们才能在利用LLM的强大功能的同时，确保系统的安全性和数据的保护。

这篇文章的灵感来源于《基于大语言模型(LLM)的系统安全：关键授权实践》报告；除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。