在网络安全人工智能中，可解释性有多重要？
网络安全AI中的可解释性重要吗？
人工智能正在改变许多行业，但在网络安全领域的变革尤为显著。随着网络犯罪激增和技能缺口的扩大，越来越明显的是人工智能是安全的未来，但仍存在一些挑战。其中一个近来受到越来越多关注的挑战是对人工智能可解释性的需求。
随着人工智能工具及其缺陷在舆论中受到更多关注，对人工智能可解释性的担忧也越来越大。在网络安全中，它是否和其他应用一样重要？下面我们来仔细看一下。
什么是人工智能可解释性？
要了解可解释性对网络安全的影响，首先必须理解为什么它在任何情况下都很重要。可解释性是许多行业中人工智能采用面临的最大障碍，主要是出于一个原因——信任。
如今许多人工智能模型都是黑盒子，意味着你无法看到它们是如何得出决策的。相比之下，可解释的人工智能（XAI）提供了对模型如何处理和解释数据的完全透明度。当你使用XAI模型时，你可以看到它的输出以及导致它得出这些结论的推理过程，从而在这个决策过程中建立更多信任。
将其放在网络安全的背景下，想象一下自动化网络监控系统。假设该模型将某次登录尝试标记为潜在入侵。传统的黑盒子模型可能只会声明它认为该活动可疑，但可能不会说明原因。而XAI则允许你进一步调查，查看是哪些具体行为使得人工智能将该事件分类为入侵，从而加快响应时间，潜在地降低成本。
为什么可解释性对网络安全很重要？
在某些应用情况下，可解释性的吸引力是显而易见的。例如，人力资源部门必须能够解释人工智能的决策，以确保其没有偏见。然而，有人可能会争辩说，只要模型准确无误，它是如何做出安全决策的并不重要。以下是一些理由，说明为什么这并不一定正确。
1. 提高人工智能的准确性
网络安全人工智能需要可解释性的最重要原因是它能提高模型的准确性。人工智能能够快速响应潜在威胁，但只有安全专业人员能够信任它才能派上用场。如果不知道模型为什么会以某种方式对事件进行分类，这会阻碍信任。
XAI通过减少误报的风险来提高安全人工智能的准确性。安全团队可以准确了解为什么模型将某个事件标记为威胁。如果模型判断错误，他们可以看到原因，并根据需要进行调整，以防止类似错误的发生。
研究表明，安全XAI能够达到超过95%的准确性，并更清楚地显示错误分类的原因。这使你能够创建一个更可靠的分类系统，确保你的安全警报尽可能准确。
2. 更明智的决策
可解释性提供更多的洞察力，在确定网络安全的下一步行动方案时至关重要。对威胁的最佳应对方式因各种特定案例因素而异。通过了解人工智能模型为何对威胁进行分类，你可以获得关键的背景信息。
黑盒子人工智能可能不会提供比分类更多的信息。相比之下，XAI通过让你了解其决策过程，揭示威胁的来龙去脉，使你能够更有效地应对它。
在美国，只有不到6%的事件响应时间少于两周。考虑到这些时间线有多长，尽早尽可能多地了解情况是最好的，以尽量减少损失。XAI根本原因分析提供了这种背景信息。
3. 持续改进
可解释性人工智能在网络安全中也很重要，因为它能够促进持续改进。网络安全是一个动态的领域。犯罪分子始终在寻求绕过防御的新方法，所以安全趋势必须作出相应调整。如果你不确定你的安全人工智能是如何检测威胁的，这将会很困难。
仅仅适应已知威胁是不够的。过去十年中，大约40%的零日漏洞攻击发生在2021年。针对未知漏洞的攻击变得越来越普遍，因此在网络犯罪分子之前，你必须能够发现和解决系统中的弱点。
可解释性让你能够做到这一点。因为你可以看到XAI是如何得出决策的，所以你可以找到可能导致错误的漏洞或问题，并加以解决以增强你的安全性。同样，你可以查看导致各种行动的趋势，以识别你应该考虑的新威胁。
4. 法规合规
随着网络安全法规的增长，安全人工智能的可解释性的重要性也将与之同步增长。像GDPR或HIPAA这样的隐私法律对透明度有着广泛的要求。如果你的组织受到这些法律约束，黑盒子人工智能很快就会成为一种法律责任。
安全人工智能可能可以访问用户数据以识别可疑活动。这意味着您必须能够证明模型如何使用这些信息以符合隐私法规。可解释人工智能（XAI）提供了这种透明度，而黑匣子人工智能则没有。
目前，这些法规仅适用于某些行业和地区，但这很可能很快会发生变化。美国可能缺乏联邦数据法律，但至少有九个州已经颁布了自己的全面隐私立法。另外还有几个州至少提出了数据保护法案。鉴于这些不断增加的法规，XAI至关重要。
5. 建立信任
从信任的角度来看，网络安全人工智能应该是可以解释的。许多公司在获得消费者信任方面存在困难，许多人对人工智能的可信度表示怀疑。XAI有助于向客户保证您的安全人工智能是安全和道德的，因为您可以准确指出它做出决策的方式。
对于信任的需求不仅限于消费者。安全团队必须获得管理层和公司利益相关者的支持以部署人工智能。可解释性使他们能够展示他们的人工智能解决方案是有效、道德和安全的，从而增加获得批准的机会。
获得批准有助于更快地部署人工智能项目并增加预算。因此，安全专业人员可以比没有可解释性的情况下更充分地利用这项技术。
在网络安全中使用XAI的挑战
随着时间的推移，解释性对于网络安全人工智能至关重要，而且只会变得更加重要。然而，构建和部署XAI也带来了一些独特的挑战。组织必须认识到这些挑战，以实现有效的XAI推出。
成本是可解释人工智能面临的最大障碍之一。在某些情况下，监督学习可能会很昂贵，因为它需要标记的数据。这些费用可能限制一些公司证明安全人工智能项目的能力。
同样，有些机器学习（ML）方法在向人类解释时并不容易理解。强化学习是一种不断发展的机器学习方法，超过22%的企业开始使用AI时开始使用它。由于强化学习通常在一段较长的时间内进行，模型可以自由地做出许多相关的决策，因此很难收集模型的每个决策并将其翻译成人类可以理解的输出。
最后，XAI模型可能需要大量计算资源。并非每个企业都拥有支持这些更复杂解决方案所需的硬件，而扩展可能带来额外的成本问题。这种复杂性也使得构建和训练这些模型更加困难。
有效使用XAI的步骤
安全团队在谨慎对待XAI时应考虑这些挑战以及解释性在网络安全人工智能中的重要性。一种解决方案是使用第二个人工智能模型来解释第一个模型。像ChatGPT这样的工具可以用人类语言解释代码，为用户解释模型为什么做出某些选择的方式。
如果安全团队从一开始就使用比透明模型更慢的AI工具，这种方法会有所帮助。这些替代方案需要更多的资源和开发时间，但会产生更好的结果。现在许多公司提供现成的XAI工具来简化开发。使用对抗网络来理解AI的训练过程也可以提供帮助。
无论哪种情况，安全团队必须与AI专家密切合作，以确保他们理解他们的模型。开发应该是一个跨部门更具协作性的过程，以确保所有需要的人都能理解人工智能的决策。企业必须把培养AI素养视为优先事项，以实现这种转变。
网络安全人工智能必须可解释
可解释人工智能提供了透明度、更高的准确性和不断改进的潜力，这对于网络安全至关重要。随着监管压力和对人工智能的信任变得更加重要，解释性将变得更加关键。
虽然XAI可能增加了开发的挑战，但好处是值得的。安全团队如果从一开始就与AI专家合作构建可解释的模型，就能够发挥人工智能的全部潜力。
特色图片来源：Photo by Ivan Samkov; Pexels; 谢谢！
