在构建AI智能体时,IT领导者应当在实施概念验证之前就制定好安全模型,并确保具备完善的可观测性。顶尖的CIO和CISO会明确传达不可妥协的AI智能体发布标准,为团队提供满足合规、安全和运营要求的统一规范。对于那些要把生产环境中的AI智能体规模从几个扩展到几百个的企业来说,还必须在事件管理、ModelOps和最终用户反馈等方面建立起AgentOps规范。
Latitude.sh联合创始人兼CEO Guilherme Soubihe表示:“你在部署智能体时,首要关注的应该不是如何避免部署后的错误,而是在部署之前就彻底避免它们。”
即使计划再周密,部署过程中也可能会犯错,以下七个常见错误贯穿于构建前、工程开发过程中以及部署完成之后。
1. 在确定性自动化本就可以胜任的场景中使用AI智能体
Celigo首席产品官 Matt Graney表示,许多企业习惯性地将智能体作为默认解决方案,应用于那些输入已知、输出稳定且具备大规模可靠执行能力的既有流程中。“智能体会增加成本、延迟和不确定性,而这些恰恰会侵蚀那些流程原本的可靠性。在部署智能体之前,先问问自己:这项任务是真的需要人类级别的判断力,还是只需要稳定运行即可?” Matt Graney说道。
即使现有的工作流需要升级换代,确定性的自动化形式、预测模型和系统集成可能也是更有效的解决方案。自主式AI解决方案的另一个隐患在于成本,由于前沿模型的定价经常变动,其成本很难预测。
“一个优秀的AI智能体必须同时具备四个要素:高成本效益、高速度、高准确度和高安全性,” NeuBird AI联合创始人兼CTO Vinod Jayaraman指出,“企业往往低估了成本,我曾亲眼看到有些团队发布了速度很快且准确度很高的智能体,但几周后就不得不下线,因为大规模运行的成本实在太高了。”
如何避免该错误:建立明确的流程,基于业务价值进行设想评估,并在最终敲定是以构建还是购买AI智能体作为解决方案之前,引入架构师审查。
2. 构建权责不清、缺乏决策问责机制的AI智能体
数据治理中最严重的缺失之一就是无法明确数据所有者,许多首席数据官不得不“倒推”来指定责任人,并指导数据所有者明确其职责。
AI智能体同样需要明确的所有者,尤其是那些在关键业务领域自动化承担全部或部分决策的智能体。
当AI智能体做出错误或非最优决策时会发生什么?必须有人对结果负责。在启动任何AI实验项目之前,明确治理模型是一项最佳实践。CIO还应与风险管理部门合作,制定明确的标准,划清什么时候必须用AI辅助人工、什么时候必须有人工干预,以及什么时候可以赋予AI智能体自主权。
“太多的企业在推出智能体时,既没有指定所有者,也没有设置异常排队机制,更没有应对质量衰减的计划,” MediaMint CTO Anirudh Shah表示,“他们把自主权当成了一个开关,在演示结束后就直接开启全自动模式,而不是通过一次次决策来逐步建立信任。应该从范围严格限定的微型任务、人工监督、可衡量的信任阈值以及过期失效(除非重新验证)的知识库开始。”
随着企业开始部署MCP服务器并实现智能体与智能体之间的协同,CIO在定义决策权限时面临着更高的复杂性。
Xactly CTO Kandarp Desai表示:“这种问责制真空在多智能体系统中尤为危险,因为没有单个智能体能对最终结果承担终极责任。在部署之前,你必须回答:当智能体出错时,谁来负责?是否能够回溯其决策过程?”
如何避免该错误:明确建立AI智能体所有者制度,审查决策风险与成本。评估这些因素时,应当对照相应的指导方针,以决定何时进行自动化,以及在工作流的哪些环节授权给人工。
3. 在缺乏可信数据的情况下规划AI智能体
参加行业大会并为AI智能体将如何重塑未来工作感到兴奋是一件很容易的事,但CIO必须与业务领导者一起面对现实,因为在劣质数据和混乱的业务流程之上盲目立项AI智能体,会导致项目成本高昂且遭遇部署灾难。
“如果你把智能体接入重复的记录、相互矛盾的定义以及两年都没人更新过的文档,它不仅不会帮你清理这些垃圾,反而会自信满满地基于这些错误数据采取行动,并在其触及的每一个工作流中以机器速度不断放大相同的错误,” Columbus Global的AI战略执行官 CJ Combs说道,“这不是智能体失败了,它只是把你原本就存在的‘数据和治理债务’暴露了出来,并加倍扩散。”
CIO们正在将投资数据织网和解决数据管理债务作为部署AI智能体的必要前提条件。
“企业在应用自主式AI时面临的最大挑战之一,就是在尚未建立统一的业务数据基础之前就过早地扩大规模,” SAP Business Technology Platform总裁兼SAP扩展董事会成员 Michael Ameling表示,“智能体依赖于可信的业务数据、业务上下文和数据治理,才能在整个企业中可靠地运行。”
如何避免该错误:衡量数据质量,并为用于训练AI模型或在运行时为AI智能体提供上下文的数据集建立最低信任评分标准。
4. 赋予AI智能体过高的信息访问权限
企业内部的领域专家通常拥有跨多种平台和数据源的广泛访问权限,然而,专家们建议不要赋予AI智能体与这些专家相同或更高的信息访问级别。
“AI智能体的行为实际上更像半可信的外部承包商或未经背景调查的新员工,” Bishop Fox资深管理顾问 Shad Malloy表示,“你绝不会给一个刚来的实习生授予访问你的电子邮件、文件共享和财务系统的无限制权限,因此也没有理由赋予智能体广泛的权限。”
企业需要建立相应的政策和平台来保障机密数据的安全,确保符合数据隐私法规,并保护知识产权。
“如果一个智能体默认就能接触敏感数据、生产系统或高影响力的工作流,那么数据治理就变成了被动响应,而非架构层面的提前防御,” Native联合创始人兼CPO Gal Ordo表示,“必须明确智能体可以运行的区域、可以跨越的边界以及必须始终保持的基线,这样团队才能在快速推进的同时,避免产生超出控制能力的高速扩张风险。”
如何避免该错误:处于监管行业中的企业以及其他部署处理敏感数据的AI智能体的企业,将需要利用AI治理平台来建立数据源与AI智能体之间的映射关系,并实现数据访问规则的集中化管理。
5. 像测试传统软件一样测试AI智能体
在持续测试和自动化持续部署中应用稳健的回归测试是应用程序和API追求的目标,在构建、测试和部署AI智能体时,需要进一步延伸这些目标,将数据、模型以及实时推理上下文中的不确定性纳入考量。
“最常见的错误就是把智能体当作传统应用来对待:在部署前进行测试、签字验收,然后就假定它在生产环境中是安全的,” Virtue AI联合创始人兼AI负责人 Sanmi Koyejo表示,“但智能体是非确定性且具状态性的,同样的请求每次都可能触发截然不同的工具调用链。部署前测试无法穷举这些路径,更糟糕的是,一连串单独被允许的操作组合起来,仍然可能导致数据外泄或未经授权的交易。”
Sanmi Koyejo建议,测试还需要加入运行时强制干预机制,在每个工具调用执行前进行检查,并在高风险操作发生时及时拦截或警报。
Vasion CIO Patrick Phillips建议CIO在部署AI智能体之前建立四重控制机制:
一个能在几秒钟内暂停任何智能体的紧急停止开关。
一个行为基线,以便明确什么是正常活动。
每次“未遂事故”发生后的事后复盘,明确哪项控制机制本应拦截该事故。
一套用于实施优化控制措施的反馈机制。
如何避免该错误:模糊AI智能体测试与监控之间的界限,因为智能体的建议和行为在测试与生产两种环境中都应当接受持续一致的评估。
6. 在缺乏人才战略的情况下部署AI智能体
首席人力资源官可能会掌控用于招聘的AI智能体并定义其决策权限,但那些招聘人员和面试官又该如何应对?AI变革管理项目必须考量与决策权限相关的业务目标,评估AI智能体的准确性,并获得那些受工作流变革影响最直接的人员的认可。
“我看到企业犯的最大错误,就是在上线前没有定义一套清晰的‘人工干预’升级升级机制,” Seismic首席产品与技术官 Krish Mantripragada表示,“团队花费大量时间琢磨智能体可以自主做什么,却跳过了更难的问题:在什么置信度阈值、业务风险等级或操作类型下,智能体应该停下来并寻求人工干预?”
如何避免该错误:部署AI智能体仅仅是业务流程演进这一生命周期的起点。领导者必须考量如何帮助员工适应工作流的变化,进而培养管理AI智能体所需的技能集。
7. 将AI智能体的成功部署视为终点
许多错误最终都归结为关于AI智能体的一个关键现实:部署并不是终点,实现业务价值才是目标,智能体在生产环境中面临的实际情况可能与测试期间接触到的情况大相径庭。
KNIME数据与分析副总裁Iris Adae表示:“我在部署AI智能体时见过的最大错误,就是以为概念验证成功了就是大功告成。智能体在精心准备的试点环境中的表现,与在边界情况和混乱集成终于暴露出来的生产环境中的表现完全是两码事。”
CIO们深受技术债的困扰,而其中一个源头就是企业停止了对某项技术的维护和支持投入,这种做法不仅会导致AI成本债,还会侵蚀效率并增加运营风险。
如何避免该错误:虽然关于生产级应用和SaaS的业务部门内部分摊成本模式一直存在诸多争论,但在生产环境中部署AI智能体时,必须考虑采用这种模式。
想要在生产环境中部署更多AI智能体的CIO,需要一套完善的运营模型,以支持包含持续交付、部署、衡量、反馈和改进的完整生命周期。


