旨在教育人们有关部署大规模语言模型（LLMs）的潜在安全风险
OWASP大型语言模型应用项目旨在教育开发人员、设计师、架构师、管理者和组织，了解在部署和管理大型语言模型（LLMs）时可能存在的安全风险。该项目列出了在LLM应用中经常出现的十大最关键漏洞，突出了它们的潜在影响、易于利用的程度以及在现实世界应用中的普遍性。
在部署LLM时，必须考虑以下十个关键的安全风险：
提示注入
攻击者可以通过构造的输入来操纵LLM，使其执行攻击者的意图。这可以直接通过对系统提示进行敌对性提示，也可以间接通过操纵外部输入来进行，可能导致数据泄露、社交工程和其他问题。
示例
* 直接提示注入覆盖系统提示* 间接提示注入劫持对话上下文* 用户使用LLM来总结包含间接提示注入的网页。
预防措施
* 对LLM访问后端系统进行权限控制* 实施人在循环中以获得可扩展功能* 将外部内容与用户提示分离* 在LLM、外部来源和可扩展功能之间建立信任边界。
攻击场景
* 攻击者向基于LLM的支持聊天机器人提供直接提示注入* 攻击者在网页中嵌入间接提示注入* 用户使用LLM来总结包含间接提示注入的网页。
不安全的输出处理
不安全的输出处理是一种在下游组件盲目接受大型语言模型（LLM）输出而不经过适当审查的漏洞。这可能导致XSS和…