标准与指南
标准规范与白皮书
指南
OWASP Top 10 for Large Language Model Applications
LLM1：提示词(Prompt) 注入(Injection) 黑客通过设计过的输入（提示词）操纵大型语言模型 (LLM)，从而导致 LLM 执行意外操作。提示词注入会覆盖系统提示词，而间接注入操纵外部数据源进 行注入攻击。
LLM2 不安全的输出处理 当 LLM 输出未经审查而被接受时，就会出现此漏洞，从而暴露后端系统。 滥用可能会导致 XSS、CSRF、SSRF、权限升级或远程代码执行等严重后果。
LLM3 训练数据中毒 当 LLM 培训数据被篡改，引入损害安全性、有效性或道德行为的漏洞或偏见 时，就会发生这种情况。来源包括 Common Crawl、 WebText 、 OpenWebText和书籍。
LLM4 拒绝服务模型 攻击者对大型语言模型进行资源密集型操作，导致服务降级或高成本。由于 LLM的资源密集型性质和用户输入的不可预测性，该漏洞被放大。
LLM5 供应链漏洞 LLM 应用程序生命周期可能会受到易受攻击的组件或服务的影响，从而导致安全 攻击。使用第三方数据集、预先训练的模型和插件可能会增加漏洞。
LLM6 敏感信息披露 LLM可能会在其回复中泄露机密数据，从而导致未经授权的数据访问、隐私侵 犯和安全漏洞。实施数据清理和严格的用户策略来缓解这种情况至关重要。
LLM7 不安全的插件设计 LLM 插件可能具有不安全的输入和不足的访问控制。缺乏应用程序控制使 它们更容易被利用，并可能导致远程代码执行等后果。
LLM8 过度代理 基于LLM的系统可能会采取导致意想不到的后果的行动。该问题源于授予基于 LLM 的系统过多的功能、权限或自主权。
LLM9 过度依赖 过度依赖LLM而不受监督的系统或人员可能会因LLM生成的不正确或不适当的内容而 面临错误信息、沟通不畅、法律问题和安全漏洞。
LLM10 模型盗窃 这涉及对专有LLM模型的未经授权的访问、复制或泄露。影响包括经济损失、竞争 优势受损以及敏感信息的潜在访问。
LLM应用安全开发实践 补充解读与建议的安全策略
从上图中可以看出：
针对LLM输入，可能存在漏洞：提示注入 / 模型拒绝服务。
针对LLM输出，可能存在漏洞：敏感信息泄漏 / 不安全的输出处理 / 过度依赖。
针对训练数据 / 微调数据的输入，可能存在漏洞：训练数据毒化 / 敏感信息泄漏。
针对用户输入 / 模型 / 训练数据，可能存在漏洞： 模型盗窃。
针对插件，可能存在漏洞：过度代理 / 不安全的插件设计。
针对下游服务，可能存在漏洞：过度代理 / 供应链漏洞。
[OWASP]LLM AI Cybersecurity &Governance Checklist
[Lakera]Comprehensive Guide to Large Language Model (LLM) Security
大型语言模型(LLM)安全综合指南
[Bright]Exploring the Security Risks of Using Large Language Models
探索使用大型语言模型的安全风险
[Secop Solution]A Comprehensive Guide to LLM Security and Governance
LLM安全和治理的全面指南