Sophos预期会出现使用AI的攻击技术并做好侦测准备

Sophos发布两份关于人工智能应用于网络犯罪的报告。第一份报告名为《AI的黑暗面：由生成式AI支持的大型诈骗活动》，揭露了未来诈骗者如何利用像ChatGPT这样的技术，只需最少技术门槛便能进行大规模的诈骗。然而，另一份名为《网络犯罪者对GPT仍无共识》报告发现，尽管人工智能具有潜力，但有些网络犯罪者并不会积极采用像 ChatGPT这样的大型语言模型（LLM），甚至对使用人工智能进行攻击持保留和怀疑的态度。

只要利用简单的电子商务范本和如GPT-4的大型语言模型工具，Sophos X-Ops就能建立一个功能完整的网站，包括由人工智能产生的图片、声音和产品描述，以及假的Facebook登入和结帐页面，可用来窃取使用者的登入凭证和信用卡信息。建立这种网站所需的技术门槛非常低，而且使用同一工具，Sophos X-Ops能够在几分钟内一键建立数百个类似的网站。

Sophos资深数据科学家Ben Gelman表示，犯罪分子改用新技术来进行自动化是自然且可预料之事。最初导入垃圾邮件，就是诈骗技术的一个重要里程碑，因为它改变了攻击的规模和方式。新的人工智能正处于相同的位置；如果存在能够产生完整自动化威胁的AI技术，人们最终就会使用它。已经看到生成式人工智能元素被整合到经典的诈骗中，例如使用 AI 生成的文字或照片来诱骗受害者。进行这项研究的部分原因是为了超前犯罪分子一步。透过建立一个比犯罪分子现有工具更先进的大规模诈骗网站生成系统，有机会在威胁蔓延之前先进行分析和准备。

为了研究攻击者对人工智能的态度，Sophos X-Ops调查了四个知名的暗网论坛，检视与大型语言模型相关的讨论。尽管网络犯罪者对于人工智能的使用似乎还处于早期阶段，但暗网上的威胁行为者开始讨论它在社交工程方面的潜力。Sophos X-Ops已经看到在以交友为基础的加密货币诈骗中使用人工智能的案例。

此外，Sophos X-Ops发现大多数贴文与出售被窃的ChatGPT帐户以及「越狱」有关－这是绕过大型语言模型内建保护措施的方法，网络犯罪分子可以借此滥用它们进行恶意用途。Sophos X-Ops还发现了十个 ChatGPT的衍生版本，创作者声称可以用于发动网络攻击和开发恶意软件。然而，威胁行为者对这些衍生版本和其他对大型语言模型的恶意应用反应不一，许多犯罪分子表示对这些模仿ChatGPT的创作者试图欺骗自己人感到却步。

Sophos X-Ops研究主管Christopher Budd表示，自ChatGPT释出以来，网络犯罪分子是否会滥用人工智能和大型语言模型引人瞩目，但研究发现，到目前为止，威胁行为者对它的怀疑胜过热情。在调查的四个暗网论坛中的两个，我们只发现1百篇关于人工智能的贴文。相比之下，在同一时间，则有1,000篇和加密货币有关的贴文。

确实看到一些网络犯罪分子试图使用大型语言模型建立恶意软件或攻击工具，但成果都很不理想，常常遭到其他用户的怀疑。在某个案例中，一名威胁行为者急于展示ChatGPT的潜力，还无意中透露了自己的真实身份。甚至发现许多人工智能对社会可能会产生负面影响和道德问题的反省文。换句话说，至少目前看来，网络犯罪分子对大型语言模型的看法与我们其他人一样，仍无共识。

若想了解更多由人工智能生成的诈骗网站以及威胁行为者对大型语言模型的态度，欢迎至Sophos官网上
查询《AI的黑暗面：由生成式AI支持的大型诈骗活动》和《网络犯罪者对GPT仍无共识》。