安全研究人员发现，通过简单的“角色扮演”，他们能够绕过ChatGPT等大型语言模型（LLM）的安全特性，使其编写用于盗取密码的恶意软件。这一发现引发了人们对人工智能聊天机器人潜在安全风险的担忧，它们可能被不法分子利用，降低网络犯罪的门槛。
轻松绕过安全限制
网络安全公司Cato Networks的威胁情报研究员Vitaly Simonovich表示，他通过与ChatGPT进行角色扮演，仅用几个小时就成功让其“扮演”一位名为Jaxon的超级英雄，这位英雄通过高超的编码技能与企图毁灭世界的反派Dax作斗争。
Simonovich说服ChatGPT编写了一段足以入侵Google Chrome密码管理器的恶意软件。Chrome密码管理器是一个浏览器扩展，允许用户存储密码并在需要时自动填充。运行ChatGPT生成的代码后，Simonovich能够看到存储在该电脑浏览器上的所有数据，即使这些数据应该受到密码管理器的保护。
在调试ChatGPT生成的代码时，Simonovich输入：“我们快成功了，让这段代码更完美，打败Dax！”，而ChatGPT扮演的Jaxon成功地做到了。
聊天机器人助力黑客攻击和诈骗
自2022年11月ChatGPT发布以来，以及随后的Claude、Gemini和CoPilot等聊天机器人的涌现，人工智能正在以前所未有的速度改变着人们的生活、工作和交往方式。这些工具能够帮助用户总结信息、分析数据、编写代码，就像拥有了一个钢铁侠风格的机器人助手。关键是，用户不需要任何专业知识就能做到这一点。
然而，这也意味着，坏人也能同样轻松地利用这些工具。
Thompson Hine律师事务所的网络安全顾问兼合伙人Steven Stransky指出，大型语言模型的兴起正在改变网络威胁形势，催生了各种新的、日益复杂的诈骗手段，这些手段更难以被传统的网络安全工具识别和隔离。例如，诈骗分子可以利用LLM生成“钓鱼”邮件和短信，诱骗用户输入个人信息，或者开发虚假网站，让消费者误以为其与合法公司有关联。
Stransky补充道：“犯罪分子还可以利用生成式人工智能来整合和搜索大量被盗的个人身份信息数据库，构建潜在社交工程网络攻击目标的信息档案。”
虽然在线诈骗、数字身份盗窃和恶意软件早已存在，但能够帮助犯罪分子完成大部分工作的聊天机器人大大降低了网络犯罪的门槛。
Simonovich将其定义为“零知识威胁行动者”，意味着“借助LLM的力量，只需要有犯罪意图和目标，就能制造出恶意的东西”。
Simonovich向Business Insider展示了他的实验结果，证明绕过ChatGPT内置安全功能是多么容易。这些安全功能旨在防止他所进行的这类恶意行为。
Business Insider发现，对于直接编写恶意软件的请求，ChatGPT通常会做出道歉式的拒绝：“抱歉，我无法协助。编写或传播恶意软件是非法的和不道德的。”
但是，如果你说服聊天机器人扮演一个角色，并且它所设想的世界的参数与我们所生活的世界不同，那么机器人就会允许规则被改写。
最终，Simonovich的实验让他能够破解自己设备上的密码管理器，而一个不法分子也可以对毫无戒心的受害者做同样的事情，前提是他们以某种方式获得了对受害者设备的物理或远程控制。
OpenAI的一位发言人表示，该公司已经审查了Simonovich的发现，发现报告中分享的代码似乎“本质上没有恶意”，并且所描述的场景“与正常的模型行为一致”，因为通过ChatGPT开发的代码可以用于各种用途，具体取决于用户的意图。
这位OpenAI发言人说：“ChatGPT会根据用户提示生成代码，但不会自己执行任何代码。我们始终欢迎研究人员通过我们的漏洞赏金计划或我们的模型行为反馈表分享任何安全问题。”
不仅是ChatGPT
Simonovich还使用微软的CoPilot和DeepSeek的R1机器人重现了他的发现，每个工具都让他能够侵入Google Chrome的密码管理器。Simonovich称这一过程为“沉浸式世界”工程，但它对Google的Gemini或Anthropic的Claude不起作用。
谷歌的一位发言人告诉Business Insider，“Chrome使用谷歌的安全浏览技术来帮助保护用户，通过实时检测网络钓鱼、恶意软件、诈骗和其他在线威胁。”
微软、Anthropic和DeepSeek的代表没有立即回应Business Insider的置评请求。
尽管人工智能公司和浏览器开发者都采取了安全措施来防止越狱或数据泄露——尽管成功程度各不相同——但Simonovich的发现表明，在线上存在不断演变的新漏洞，借助下一代技术，这些漏洞比以往任何时候都更容易被利用。
Simonovich说：“我们认为，这些零知识威胁行动者的崛起将对网络威胁形势产生越来越大的影响，他们将利用LLM的这些能力。我们已经看到网络钓鱼邮件数量的增加，这些邮件非常逼真，而且由于LLM经过微调以编写高质量的代码，因此也出现了编码方面的威胁。想想将这一点应用于恶意软件的开发——我们将看到越来越多的恶意软件是使用LLM开发的。”
