有智无诚，不过是复杂的风险。要打造持久的AI，就必须将零信任原则应用于数据管道，并将模型端点视为敏感的API来对待。
当我刚开始大规模部署AI系统时，我犯了大多数技术领导者都会犯的错误：我把安全和数据架构问题当作在智能层构建完成后才需要解决的问题。我们进展迅速，推出模型，庆祝早期取得的胜利，然而，六个月后，我们发现其中一条机器学习管道无意中将敏感的客户数据泄露给了本无权访问这些数据的下游系统。虽然没有发生数据泄露事件，也没有登上新闻头条，但这一事件给我们敲响了警钟，彻底改变了我对AI架构的看法。
事实上，大多数企业构建AI的方式都是错误的。他们在模型性能、基础设施和计算能力上投入大量资金，却将数据治理和安全视为事后才需考虑的问题。根据我在各行业的工作经验，这种方法创建的系统虽然在技术上令人印象深刻，但本质上却很脆弱。有智无诚，不过是复杂的风险。
本文概述了我所开发的框架，即我现在所说的“安全智能框架”，以及任何技术领导者如何应用该框架来构建既强大又可靠的AI系统。
为何安全必须融入设计，而非事后添加
在部署AI时，想要快速推进的想法是可以理解的。业务压力真实存在，AI项目往往始于概念验证，在有人认真考虑安全问题之前，就悄然发展成了生产系统。
但这种顺序是危险的，根据《IBM 2024年数据泄露成本报告》，全球数据泄露的平均成本已达488万美元，且未在安全运营中嵌入AI和自动化的企业所需支付的成本显著更高。架构不佳的AI系统会扩大组织的攻击面，通过模型API、训练数据管道和推理端点等传统安全框架从未设计用来应对的环节，产生新的漏洞。
更深层次的问题在于文化层面，当安全被视为部署时的检查清单，而非设计原则时，团队在截止日期的压力下就不可避免地会走捷径。我见过一些组织在没有访问日志、没有输出监控、没有回滚计划的情况下就推出了生产AI系统，因为这些对话发生在构建之后，而非构建之前。到那时，架构已经确定，事后添加安全措施不仅成本高昂、具有破坏性，而且往往还不完整。
当我重新设计我们的AI架构时，我从一个单一原则出发：系统的每一层都必须假定其他每一层都可能受到损害。这是将零信任思维应用于AI，它彻底改变了你设计数据流、访问控制和模型治理的方式。美国国家标准与技术研究院(NIST)的AI风险管理框架为此提供了坚实的基础——这是我在与任何开始认真部署AI的团队分享的首批文件之一。
安全AI系统的三层架构
安全智能框架建立在三个相互依赖的层次之上，每个层次都必须独立处理，然后作为一个整体进行集成。
数据层
大多数漏洞都始于这一层，我见过一些企业将机器学习模型直接连接到生产数据库，且访问控制极少，他们认为模型本身不是用户，因此不会构成风险。这种想法是错误的，而且代价高昂。
数据管道必须强制实施最小权限访问原则，AI系统的每个组件都应仅访问其所需的具体数据，不能更多。在我曾合作过的一家企业中，仅在管道层面实施基于角色的访问控制，就将敏感数据暴露量减少了60%以上，且对模型性能没有任何影响。同样重要的是数据血缘。你必须能够在任何时候准确回答：是哪个数据训练了给定的模型，数据来自哪里，以及谁有权访问这些数据。没有数据血缘，你就无法进行审计，无法遵守规定，也无法在出现问题时进行调试。
模型层
一旦数据得到妥善治理，注意力就应转向模型本身。这里的主要风险是模型反演攻击，即对手从模型输出中提取训练数据，以及在大语言模型部署中的提示注入攻击，即恶意输入操纵模型行为。
抵御这些威胁意味着要将模型端点视为任何其他敏感的API——将身份验证、速率限制、输出过滤和对抗性测试作为部署管道中的标准做法。大语言模型应用的开放式网络应用安全项目(OWASP)十大安全风险是我找到的针对模型层风险最实用的参考资料之一——它列出了让AI安全团队夜不能寐的确切攻击模式。当我们在内部知识管理中部署自然语言处理(NLP)系统时，我们添加了一个输出审查层，在将结果返回给用户之前扫描响应中的个人身份信息。这增加了40毫秒的延迟，但每一毫秒都值得。
治理层
这一层最常被忽视，因为它感觉更像是行政工作，而非架构设计。实际上，治理是长期将其他两层凝聚在一起的关键。
治理意味着对生产中的每个模型都有明确的归属，包括谁构建了它、谁维护它以及谁对其输出负责，它意味着模型版本控制和回滚能力，它还意味着定期对模型性能和数据访问模式进行审计。微软的“负责任的AI标准”和谷歌的“模型卡框架”都是我在工作中借鉴过的实用起点，它们都不是即插即用的解决方案，但都提供了结构化的思考方式，几乎可以适应任何组织环境。
实际中的做法
实施这一框架并不需要一次性重建所有内容，我用了三个季度的时间分阶段引入这一框架。
第一季度，我们专注于数据层——审计管道、实施访问控制和建立血缘跟踪。这项工作虽然枯燥，但却发现了三个我们之前不知道存在的数据访问问题。在两个案例中，内部团队一直在查询他们从未被授权使用的数据集，仅仅是因为没有设置限制。
第二季度，我们着手处理模型层——加固端点、引入输出过滤并将对抗性测试嵌入到我们的持续集成/持续部署(CI/CD)管道中。团队形成了安全第一的思维模式，使得这些改变感觉自然而非强加。
第三季度，我们正式确立了治理体系，指定模型所有者、建立审查周期并将模型审计纳入现有的IT流程。到年底，我们拥有了一个让安全团队、法律团队和业务利益相关者都能信任的系统。以前需要数周才能批准的新AI项目，现在只需几天就能确定范围并获得批准，因为基础问题已经在架构层面得到了解答。
信任是设计出来的，而非假设的
安全与智能并非相互对立，而是相辅相成。使AI系统安全的规范，也使其更可靠、更可审计，并且更容易向需要信任它的利益相关者解释。
AI不是一个技术问题，而是一个信任问题。
如果你在没有结构化方法处理数据治理和安全的情况下构建AI系统，那么你并没有比竞争对手更快。你只是在积累技术债务，其成本将远远超过你曾经获得的速度。未来十年在AI领域领先的企业将不会是那些部署最多模型的企业，而会是那些部署人们可以信任的模型的企业。
从数据入手，保护模型，治理一切，其余的就是执行。
