随着 LLM 变得越来越复杂并用于更广泛的任务（尤其是以代理的形式，它可以与计算机文件、网站、第三方代码以及其他代理进行交互），人们很难独自跟上可能发生的所有类型的攻击。 OpenAI 的研究科学家、GPT-Red 的共同创建者 Nikhil Kandpal 表示：“风险面增大，爆炸半径也增大。”
OpenAI 构建了 GPT-Red，以确保其安全测试流程面向未来。该公司的研究科学家、GPT-Red 的联合创始人 Dylan Hunn 表示：“随着功能更强大的模型的出现，我们将已经设计出能够发现新攻击模式的系统。”研究人员表示，它已经提出了以前从未见过的新型攻击方式。
OpenAI 将大部分精力集中在一种称为“即时注入”的攻击上，即黑客窃取 LLM 指令，使其执行开发人员或用户不希望的操作，例如复制机密信息、破坏公司的代码库或生成令人尴尬或有害的输出。理论上，此类说明可以隐藏在法学硕士可能遇到的任何文本中，例如代码或网站上。
训练道场
为了构建 GPT-Red，OpenAI 的研究人员采用了未接受过黑客培训的法学硕士，并将其与其他几个模型一起设置在所谓的自我对弈循环中。它的目标是尝试攻击其他模型；他们的目标是试图保卫自己。经过多轮比赛，GPT-Red 越来越擅长攻击其他 LLM，而那些 LLM 也越来越擅长抵御攻击。
培训是在 OpenAI 设计的一种道场中进行的，该道场旨在模拟法学硕士可能在现实世界中部署的一系列场景，包括浏览网页、阅读电子邮件或日历应用程序以及编辑代码。
当 GPT-Red 发现一种新的攻击方式时，它会探索其多个不同版本，以找到针对特定场景最有效的攻击方式。 “与人类红队队员相比，该模型非常非常善于找到最有效的方法，”Hunn 说。 “它非常坚持不懈地深入研究所发现的攻击。”
特别是，OpenAI 声称 GPT-Red 发现了一种研究人员以前从未见过的即时注入攻击，他们称之为假思想链。思想链是一种日记，法学硕士在其中记录自己并在解决问题时跟踪部分结果。 GPT-Red 找到了一种方法，可以将虚假条目插入到另一个模型的思维链中，从而欺骗该模型对欺骗信息采取行动。
“这就好像我告诉你 1+1=3 并且你已经验证了这一点，”该团队的另一位研究科学家 Chris Choquette-Choo 说。 “模型会说，‘哦，好吧，当然，’然后它就输出了 3。”
#认识一下 #GPTRedLLM #超级黑客 #OpenAI旨在使其模型更安全