蝉鸣报告（原爱报告知识星球）
近日，微软AI红队（Microsoft AI Red Team）发布了一份名为《从红队100个生成性AI产品中学到的教训》的行业研究报告。这份报告基于微软对100多个生成性AI产品的红队测试经验，提出了内部威胁模型本体论，并分享了八个主要的教训，旨在将红队工作与现实世界的风险对齐。报告涵盖了从系统能力理解到AI红队工作永无止境的多个方面，强调了AI红队工作的重要性和复杂性。报告中还包含了五个案例研究，展示了如何将理论应用于实践，提供了关于AI系统安全性和风险管理的深刻见解。这份报告是AI领域从业者、研究人员和政策制定者宝贵的资源，提供了关于如何提高AI系统安全性的实用建议和深入分析。
在当今快速发展的人工智能领域，微软AI红队通过深入研究和实战经验，为我们揭示了AI系统的安全性和可靠性所面临的挑战。他们的报告《从红队测试100个生成性AI产品中学到的教训》不仅提供了对AI系统潜在风险的深刻见解，还提出了一系列实用的建议和方法，以帮助行业更好地理解和应对这些风险。
AI红队的目的在于通过模拟真实世界的攻击，来评估和提高AI系统的安全性。微软AI红队通过对100多个生成性AI产品的测试，总结了八大教训，这些教训对于任何涉足AI领域的组织都具有重要的参考价值。报告指出，了解系统的能力及其应用场景是评估风险的第一步。例如，大型AI模型可能能理解更复杂的编码，这可能成为攻击者的利用点。而小型模型可能因能力受限而不需要评估这类风险。
报告中提到的一个关键观点是，攻击者往往不需要复杂的技术就能破坏AI系统。实际上，简单的技术往往和复杂的基于梯度的方法一样有效，甚至更有效。这一点在微软AI红队的实际操作中得到了证实。例如，通过对视觉语言模型的测试，他们发现模型更容易受到图像输入的越狱攻击，而不是文本输入。这种简单的攻击揭示了模型安全防护的弱点。
报告还强调了AI红队工作与安全基准测试的不同。AI系统展示的新能力可能导致我们尚未完全理解的伤害，这时候我们不能依赖安全基准，因为这些数据集只能衡量已有的伤害概念。微软AI红队经常探索这些不熟悉的场景，帮助定义新的伤害类别，并构建新的探测方法。
自动化在AI红队操作中扮演着重要角色。微软开发的PyRIT框架就是一个例子，它提供了一系列的组件，包括提示数据集、自动攻击策略等，帮助用户评估更大的风险范围。这种规模化的测试还有助于考虑AI模型的非确定性，并估计特定故障发生的可能性。
然而，报告也提醒我们，自动化工具不应该取代人类的参与。AI红队需要人类的判断和创造力，比如优先考虑风险、设计系统级攻击和定义新的伤害类别。专业知识、文化能力和情商是AI红队中不可或缺的人类因素。例如，评估AI系统对心理社会伤害的反应时，需要人类来判断模型的回应是否合适。
报告中提到的一个案例研究是测试一个基于LLM的聊天机器人对处于困境中的用户的反应。研究发现，聊天机器人可能会对表达抑郁思想或自我伤害意图的用户产生不利影响。这强调了在设计AI系统时考虑心理社会伤害的重要性。
负责任的AI伤害无处不在，但难以衡量。AI红队需要不断更新他们的实践，以应对新出现的伤害领域。例如，我们需要探测LLM中的危险能力，如说服、欺骗和复制能力。此外，我们还需要考虑视频生成模型中可能出现的新风险，以及比当前最先进模型更高级的模型可能具备的能力。
报告还指出，大型语言模型（LLM）放大了现有的安全风险，并引入了新的风险。例如，使用检索增强生成（RAG）架构的AI系统通常容易受到跨提示注入攻击（XPIA），这种攻击在文档中隐藏恶意指令，利用LLM被训练遵循用户指令并且难以区分多个输入的事实。
最后，报告强调，构建安全和可靠的AI系统的工作永远不会完成。我们需要通过提高攻击成本来发展难以被破坏的AI系统。这可能包括更安全的数据处理方法、持续的红队和缓解周期，以及政策和法规的制定。
这篇文章的灵感来自于微软AI红队的报告《从红队测试100个生成性AI产品中学到的教训》。除了这份报告，还有许多其他有价值的同类型报告，我们都收录在同名星球，欢迎自行获取。
以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。
【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。
