【电子交易与安全协会(SETS)】2024网络安全领域可解释人工智能综合调查白皮书(英文版)

近日，电子交易与安全协会（SETS）发布了一份名为《2024网络安全领域可解释人工智能综合调查白皮书》的报告。这份报告由N Eswari Devi女士、N Subramanian博士和N Sarat Chandra Babu博士共同准备，旨在深入探讨可解释人工智能（XAI）在网络安全领域的应用、挑战和未来发展。报告详细分析了XAI在提高网络安全透明度、信任和责任方面的重要性，并讨论了如何在保护AI系统和确保数据安全及用户隐私的同时，利用XAI提升威胁识别和响应能力。报告中还包含了国际和国内的相关工作综述，以及对XAI在网络安全中实施的挑战和潜在对抗性威胁的讨论，提供了丰富的信息和深刻的见解。

在数字化时代，网络安全成为了我们不得不面对的挑战。人工智能（AI）技术的发展，为我们提供了新的解决方案，但同时也带来了新的不确定性。AI在网络安全中的应用可以提高威胁识别和响应的速度，但AI模型的广泛应用也使其成为攻击的目标。因此，解释AI（XAI）的重要性日益凸显，它可以帮助我们理解AI模型的决策过程，增强对AI系统的信任，并保护数据安全和用户隐私。

XAI的发展始于2004年，2014年DARPA宣布其XAI项目后，取得了重大突破。XAI的目标是生产更易于解释的模型，同时保持高水平的学习性能（预测准确性），并使人类用户能够理解、适当信任并有效管理新一代的人工智能伙伴。XAI不仅有助于解释模型决策，还解决了公平性问题，并帮助调试模型。

在全球范围内，攻击次数在2022年第三季度比2021年同期增加了28%。XAI的应用从三个网络安全利益相关者的视角来看，包括设计者、模型用户和对手。他们的工作全面检查了各种传统和特定于安全的解释方法，并探索了有趣的研究方向。XAI在网络安全中的应用被分为三组：防御网络攻击的应用、在各个行业中网络安全的潜力，以及针对XAI应用的网络对抗威胁以及防御方法。实施XAI的挑战被强调，同时强调了标准化解释性评估指标的重要性。

XAI在网络安全中的应用不仅限于理论。例如，X_SPAM方法结合了随机森林机器学习技术和LSTM深度学习技术来检测垃圾邮件，并使用LIME技术增强信任度，通过解释分类决策。此外，XAI在网络威胁情报（CTI）中的应用跨越了三个主要主题：网络钓鱼分析、攻击向量分析和网络防御发展。XAI在网络安全中的应用越来越重要，因为缺乏解释性会削弱对AI预测的信任。

XAI在网络安全中的重要性不仅体现在提高透明度和信任度上，还体现在其对模型决策过程的洞察能力上。这种洞察能力使得我们能够识别和纠正偏见，确保网络安全措施的公平性和无偏见，维护安全协议的完整性。此外，XAI有助于检测高度不平衡的数据集并纠正偏见，从而提高系统的鲁棒性。

然而，XAI模型也面临着威胁。由于XAI模型是数据驱动的，解释性模型本身可能容易受到恶意操纵。对抗性攻击可以分为两大类：1）可以修改解释本身；2）可以使用解释来检索机密训练数据和有关模型的详细信息。因此，保护XAI模型免受网络攻击至关重要。

展望未来，XAI对于确保对AI模型的信任至关重要。XAI也是促进AI的道德和公平使用的关键。解释性有助于监控对道德原则的遵守。认识到XAI对可信度的重要性，NIST发布了一份2021年的报告，题为“可解释人工智能的四个原则”，概述了XAI系统的基本属性和原则：解释、意义、解释准确性和知识限制。

这篇文章的灵感来自于《A COMPREHENSIVE SURVEY ON EXPLAINABLE AI IN CYBERSECURITY DOMAIN》这份报告。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。