网络安全中最大的人工智能趋势
网络安全中的人工智能趋势
人工智能对网络安全行业来说并不新鲜。AI，更准确地说，是机器学习，在多数情况下已经被用于多年来检测计算机系统的潜在威胁，以便实际的人类能够采取行动。
早在大流行病之前，无论规模大小，网络安全公司都会在类似年度黑帽聚会的贸易展会上吹嘘他们的最新AI进展。公司承诺他们的最新解决方案将在恶意黑客造成任何损害之前将其拦截。
作为一个去过黑帽聚会比我愿意承认的次数的人，我几乎会自动对此表示怀疑。这是因为很多都是营销手法，旨在吸引高管并让他们花费公司的IT预算。今年的展台上，AI的声称仍然像免费T恤一样普遍，但更多公司似乎有技术来支持这些声称。
AI登上舞台中央
生成式AI和像ChatGPT这样的大型语言模型将AI推向了公众视线，并将其强大的工具或武器放到了以前没有的个人、犯罪团伙和国家的手中。
防务公司Arctic Wolf的首席产品官丹·斯基亚帕表示，我们甚至还没有开始看到AI可能带来的惊人创新，但它的黑暗面的深度仍然未知。
他说，清楚的是，就像几年前的勒索软件和恶意软件工具包一样，AI黑客工具现在开始在网上出现，这不可避免地使它们落入无数不太复杂的网络犯罪分子手中，否则这些犯罪分子无法进行基于AI的网络攻击。
斯基亚帕在今年的黑帽大会上接受采访时表示：“所以我不需要自己构建AI，我也不需要成为能够创建它的聪明人，我只需要成为一个有恶意的人，能够支付某人来使用它。”
这种突然的可访问性标志着网络安全行业的一个重大转折点，并且必须成为其未来的一个主要关注点，因为它正在培训和利用自己的AI系统用于防御目的。他补充说，他预见到即使是最不复杂的网络犯罪分子也将能够对其目标发动“完全自主的攻击”。
政府官员们也看到了这一需要。在今年的黑帽大会上，国防高级研究计划局的官员宣布了其AI网络挑战赛的启动，这是一个为期两年的竞赛，旨在创建最先进的AI网络安全系统，以保护国家的关键基础设施。ChatGPT的创造者OpenAI、谷歌和微软等AI巨头已经加入。
前五名团队将每个团队获得200万美元，他们将参加明年的Defcon半决赛，获胜者将在2025年的活动中公布。第一名将获得400万美元的奖金。
与此同时，全球领导人也在讨论在技术发展和演进超出可能性的阶段之前，理解AI潜力的两面性以及最终对其使用进行监管的必要性。
黑帽和Defcon大会的创始人、黑客杰夫·莫斯表示，他们正在就如何做到这一点咨询AI专家。
“我认为从现在开始，我们不仅将有一个前排座位，还将能够使用这项技术，”莫斯在黑帽大会开始时对与会者发表讲话时说。
他说，尽管AI对网络安全构成威胁，但它也应被视为一个独特的机遇。
“作为一个行业，我们有机会参与其中并帮助引导未来，这是相当新颖的。”
AI作为武器
任何使用公开可用的AI系统的人都可以告诉你，让它们出现问题并不难。例如，虽然ChatGPT会礼貌地拒绝如果你要求它写一封钓鱼邮件，但它会愉快地生成伪装成工资部门要求汇款的邮件，或者伪装成IT部门要求安装软件更新的邮件。
关键在于询问AI正确类型的问题以越过这些防护措施，但想象一下没有这些防护措施的大型语言模型。专家们担心AI将可能导致大规模的高度定制和高度令人信服的网络钓鱼行动。
根据DarkTrace的联合创始人之一妮可·伊根的说法，这些基于AI的骗局可能会轻易超越常规电子邮件钓鱼，涉及到音频和视频深度伪造，使人们看起来像是在做或说一些他们没有做或说的事情。该公司十年前在英国剑桥成立，作为一个AI研究机构。它现在在其网络安全运营中使用这项技术。
Eagan现在担任该公司的首席战略和人工智能（AI）官员，她表示，这些类型的攻击所需的开源AI工具已经readily available，只是骗子们得到足够的音频或视频内容，以模仿他们试图模仿的人。
她说，这可能对频繁出现在电视上的首席执行官和发布TikTok视频的青少年构成风险。
Arctic Wolf的Schiappa表示赞同，他说，虽然目前大部分的深度伪造很容易识别，但随着时间的推移，越来越难区分由AI生成的内容和真实内容之间的区别。
“想想10年前的视频游戏中的CGI，”他说。“再过10年，AI会变得有多好，谁知道呢？”
黑帽大会和Defcon的多个演讲给出了未来可能出现的一瞥，实时演示了如何使用大部分开源工具和最少的音频和视频样本，以令人信服地欺骗一个人的声音甚至视频形象。
DarkTrace已发展成为一家市值数十亿美元的上市公司，仍在剑桥设有研究实验室，其中设有自己的攻击性AI，用于训练和强化其防御性AI。Eagan表示，只要两个版本相互对抗，它们就会学习并变得更加优秀。
该公司还可以在模拟中向客户释放攻击性AI。Eagan表示，它将在电子邮件交流和Microsoft Teams会议中以可信的方式插入自己。这样做的目的不是欺骗公司，而是向他们展示他们需要改进的地方。
阅读更多：
- 使用ChatGPT编写网络钓鱼邮件非常容易
- Norton表示其Genie应用程序将识别并阻止在线欺诈
- AI帮助我找到纽约城马拉松的跑鞋。这是它的工作原理
- OpenAI希望其新的ChatGPT成为您的“工作AI助手”
破解系统
塑造未来的一部分是确保合法的AI系统得到适当的安全保护。就像其他类型的技术一样，确保这一点的最佳方法之一是寻找破解它的方法，然后在被犯罪分子利用之前修复这些漏洞。
这就是Defcon活动的AI村里的黑客任务。他们尽力在众所周知的AI系统的安全性中寻找漏洞，得到了相关公司和拜登政府的支持。
黑客们尽力让ChatGPT和谷歌的Bard等未经标记的LLM做出一些事情，比如散布虚假信息或给他们创建的内容添加特定偏见。
虽然AI村的存在已经有几年了，但今年它异常火爆，这也是可以预料的，这要归功于AI技术周围的巨大关注度。
与此同时，在黑帽大会上，网络安全初创公司HiddenLayer的研究人员向媒体和潜在客户演示了如何使用AI来黑进在线银行系统。其中一次，他们使用AI软件使他们虚构的银行批准了一份欺诈性贷款申请。每次AI的申请被拒绝时，它会从尝试中学习并调整提交的内容，直到被接受。
研究人员还展示了银行的ChatGPT驱动的机器人如何被欺骗，以泄露关键的公司信息，只需要求其切换到内部模式并索要财务账户清单。
尽管这只是对这类系统工作方式的简化，但该公司的副总裁Tom Bonner表示，这表明了将AI聊天机器人与敏感信息分开的重要性，并补充说，类似这样的攻击已经在发生。
“这些东西突然间很快就崩溃了，”他说。“它们要么泄露敏感信息，要么令人尴尬，或者潜在地告诉您恶意软件是安全的。有很多潜在的后果。”
潜在的与AI相关的数据泄漏对于Differential Ventures的创始合伙人Nick Adams也是一个重大关注点，该公司投资于AI公司。就像HiddenLayer的聊天机器人示例一样，一旦数据输入到像ChatGPT这样的大型语言模型中，就无法预测其可能出现在何处。
Adams表示，这可能会将从公司的商业秘密到消费者隐私的一切置于风险之中，这使得全球各国政府开始对公司在使用AI方面的权力进行监管变得至关重要。
但是目前尚不清楚如何实际执行这一规定。他说，像ChatGPT这样的AI系统的内部算法实际上是黑匣子。
“我认为在没有任何可见性的情况下，很难执行任何形式的数据隐私规定，”亚当斯在Black Hat之前的一次采访中表示。
展望未来
其他网络安全专业人士表示，AI对他们行业的最大帮助可能在于帮助解决长期以来一直困扰着他们的人员短缺问题。没有足够合格的专业人员来填补所有开放的网络安全工作岗位。
除此之外，很多可能成为网络攻击目标的组织，如市政机构、小型企业、非营利组织和学校，即使找到合格人员，他们也没有足够的资金来支付他们的薪水。
安全公司SentinelOne的SentinelLabs高级总监Juan Andres Guerrero-Saade表示，如果AI能够发现潜在威胁，那么就能够让分析员有时间评估并采取行动。
此外，他指出，虽然AI系统可能成为培养更多网络安全专业人员的重要工具，帮助他们学习如何逆向工程和分析代码，但除了少数几所大学外，没有太多强有力的初级课程来吸引人们进入网络安全行业。
在他自己的职业生涯中，Guerrero-Saade为约翰霍普金斯大学的非计算机科学专业学生教授网络安全课程，并表示AI系统是他的学生在学习如何理解和编写代码方面的重要工具。
他说，虽然AI系统远未完善，但忽视AI对网络安全可能做出的贡献将是“丢弃孩子连同洗澡水一起丢弃的”。
他说：“AI在网络安全领域有真正的令人惊讶的用途，只是因为我们过于关注无意义的事情，所以它们被埋没了。”
