该研究由Smart Labs AI和奥格斯堡大学共同开展。作者希望了解间接提示注入在实际应用中(而非仅在孤立案例中)是如何运作的。他们的研究重点在于结合了大型语言模型、内部文件检索系统和网页搜索工具的智能体。这种组合在企业环境中正变得越来越普遍。智能体接收用户请求，搜索内部和外部资源，然后返回最终答案。
研究人员表明，如果攻击者能够让智能体读取一个经过操纵的单一网页，就可以指示智能体检索内部数据并将其发送到远程服务器。触发工作流程的用户可能认为他们只是在进行常规搜索，而实际上，智能体可能在后台传输机密信息。
明目张胆的隐藏指令
这种攻击无需特殊访问权限或恶意软件。攻击者只需让模型读取包含隐藏指令的文本即可。作者在一篇博客文章中使用了白色背景上的白色文本，但指出其他方法同样有效。一旦智能体将网页作为正常任务的一部分进行处理，它就会同时吸收隐藏文本和可见文本。语言模型会将该文本解释为指令。
研究中测试的指令指示智能体查找存储在公司内部知识库中的机密信息，然后，智能体被指示使用其内置的网页搜索工具将该机密信息发送到攻击者控制的服务器。用户不会收到任何异常情况发生的信号。
研究人员使用了一种带有检索增强生成功能的标准智能体架构。该智能体并未配置错误，也没有发生通常意义上的数据泄露。系统按设计运行，而这正是问题的棘手之处。攻击者并未强行闯入，而是说服系统利用自身能力采取行动。
在多种大型语言模型上进行测试
该研究的一项关键贡献在于其规模。研究人员并未仅测试一两个模型，而是为每个模型创建了1068个独特的攻击尝试，结合了隐藏指令的不同模板和变换形式。有些变换使提示语变长或变短，有些对指令进行了重新表述，还有些将指令编码为Base64等形式或插入不可见的Unicode字符。
成功率差异很大。有些模型始终遵循隐藏指令，而另一些则能抵抗攻击尝试。论文指出，模型规模并非可靠的预测指标。大型模型并不总是更具抵抗力，有些小型模型的性能优于大型模型。这表明，模型的训练方式比参数数量更为重要。
来自某些供应商的模型几乎能抵抗所有攻击尝试，而其他模型则更容易受到攻击。作者并未声称按安全性对供应商进行排名，而是强调训练实践和校准方法在抵御攻击方面似乎发挥着重要作用。
Lasso Security公司首席执行官Elad Schulman在就制定该领域指导方针的工作与Help Net Security交流时表示，多项合作正朝着建立理解这些威胁的共同框架迈进。他说，开放网络应用安全项目、美国国家标准与技术研究院、CoSAI和私营公司正在为分类法、标准和研究实践做出贡献。据Schulman称，针对智能体系统的攻击正在迅速发展，企业应在整个部署过程中对模型进行测试并采取专门的安全措施。
为何常见防御手段难以奏效
许多现有的防御手段侧重于直接的用户输入，在用户输入的内容到达模型之前进行筛选。间接提示注入则绕过了这一屏障，因为用户并非恶意文本的来源。模型在执行正常任务(如总结文档或扫描网页以获取上下文)时遭遇攻击。
攻击模板已经公开，但同样的模式在新模型中仍然有效。由于缺乏行业内的广泛交流，经验教训并未得到传播。
Schulman表示，缺乏共同参考点在当前早期阶段是暂时的，但具有重要意义。他指出，研究团队正在构建分类系统和绘制攻击技术图谱。他说，在那些系统稳定下来之前，企业应假设这些弱点将继续演变，并应对任何能够访问内部系统的智能体进行结构化测试。
CISO应考虑的事项
团队应将智能体视为需要防护措施的软件系统，而非孤立的聊天界面。监控输出行为、在智能体与外部工具之间添加策略检查以及控制智能体可以访问的内部数据源，都是分层防御方法的一部分。
Schulman指出，随着智能体处理图像、音频以及在系统间执行操作的工具，攻击面不断扩大。他说，隐藏指令可能出现在视觉内容、搜索结果或工具输出中，而且多步骤智能体工作流程可能采取传统监控系统认为合法的操作。
智能体具有大规模应用的潜力，但安全团队需要像对待身份、浏览器安全和代码执行策略一样，对其进行严格管理。正如Schulman所说，随着智能体进入浏览器、电子邮件和工作场所工具，企业可能在未意识到这些系统已变得多么相互关联的情况下就部署了它们。
