这份报告全部依托分析师团队和企业一线实地访谈形成真实调研素材,梳理出目前国内企业落地AI安全时,普遍面临四大不确定核心风险,同时也给出了可落地的治理办法与中长期布局参考。针对报告核心结论、企业AI落地潜藏的隐性风险、智能体规模化应用后的管控难点等行业普遍关注的问题,Gartner分析师陈延全也做出了细致全面的解读。

四大不确定性催生企业AI安全焦虑
结合常年服务国内客户的一线实操经验,陈延全谈到,现阶段国内企业的AI安全建设大多处在被动焦虑的状态。整个行业普遍存在技术迭代速度快、潜在风险难以预判、安全管控措施跟不上技术变化的现状,这也是报告梳理四大行业趋势的核心依据。
首先是影子AI无序泛滥的问题。当下企业办公、研发板块的业绩与产能考核压力持续攀升,市面上各类生成式AI工具更新迭代频繁、功能也不断升级优化。不少员工为了提升个人工作效率,私自使用大量未经过企业审批授权的AI工具,这类工具长期脱离安全监管体系,逐步形成大规模不合规使用场景,持续给企业内部数据埋下安全隐患。
其次是恶意网络攻击朝着产业化方向进阶。不法团伙已经把深度伪造、自动化攻击工具做成标准化、模块化组件,依靠AI技术大幅提升钓鱼攻击的精准度、覆盖范围和执行效率,企业日常面临的攻防对抗压力持续加大。
从产业层面来看,国内智能制造、智能汽车等实体产业数字化转型步伐不断加快,企业急于落地AI技术赋能生产、拉高产能,仓促推动IT网络与OT生产网络相互融合。两类网络架构边界愈发模糊,融合流程缺少充足安全考量,由此催生大量物理场景下的AI安全隐患,这一领域也会成为未来数年国内网络安全建设的核心发力点。
人才缺口则是长期牵绊行业发展的核心痛点。公开统计数据显示,我国网络安全人才缺口达到200万,缺口规模位列全球第一,相比第二名印度100万的人才缺口多出一倍。既能精通网络安全技术、掌握AI算法能力,又具备项目工程落地经验的复合型人才,更是行业稀缺资源。
陈延全也着重强调,从Gartner实际调研观察来看,企业布局AI安全的核心初衷,是赋能现有安全团队、拓宽员工工作边界、整体提升安全运营效率,绝非为了削减人员编制,这也是本次报告传递的关键核心观点。
2028-2029年AI网络安全风险全面升级
结合国内产业发展特性,Gartner归纳出四项本土化AI安全战略预判,清晰预判出2028到2029年,国内AI网络安全的风险走向与行业整体格局。
报告预判,2028年国内企业网安项目中,八成AI技术落地价值都会体现在工作自动化处置、人员能力拓展两大方向,依靠AI缩减人力成本,并不是企业智能化安全建设的主流诉求。同一阶段里,超八成企业都会碰到员工随意使用生成式AI的情况,员工优先保障工作效率而漠视内部安全规范,极易引发数据泄露事故,这类风险管控也会成为企业安全负责人的核心工作内容。
放眼中长期攻击态势,2029年深度伪造技术会全面融入黑产攻击链条,针对企业员工的社工类攻击,将全面走向智能化、批量化运作模式。企业目前沿用的年度、季度固定模板化安全培训,将彻底无法抵御这类新型攻击手段。同时2029年,超过三成落地物理AI应用的企业,大概率会遭遇生产线停摆、整体运营中断的重大安全事故。线上数字风险和线下生产风险深度交织,对企业现有防御体系提出全新挑战。
多维风控体系破解智能体管控难题
依托大量企业真实落地案例,陈延全剖析出当下企业AI安全建设中普遍存在的认知误区。目前多数企业的风控工作,只聚焦在AI内容合规校验、基础数据防泄漏等浅层环节,却忽视了两类高危隐性风险。一方面,各类商用AI工具、企业自研智能体所搭载的外部接口、插件以及供应链链路存在诸多漏洞,对外交互端口极易成为攻击者的入侵突破口;另一方面,绝大多数企业尚未搭建完善的机器身份识别、代理权限管控体系,拥有系统操作权限的AI智能体可自主执行高危破坏性操作。企业缺失权限审批、密钥轮换、全流程行为溯源等管控机制,这也是整个行业普遍存在的安全治理盲区。
针对实际运营中的各类棘手问题,陈延全分享了一套可直接落地使用的组合治理方案。
应对影子AI乱象,企业不能再放任无规化使用,必须出台统一的生成式AI、智能体使用管理准则。同时淘汰老旧的关键词筛查、静态规则检测工具,替换为具备上下文感知能力的新一代安全产品,从网关、终端、API接口多方位排查隐藏的违规AI应用。员工安全教育也要摒弃形式化授课,通过深度伪造实景攻防模拟,让员工直观感知风险,再结合技术监控、制度约束、合作协议管控等方式,实现影子AI全流程闭环管理。
面对不断增多的深度伪造攻击,企业需要升级单一核验模式,搭建多媒介交叉验证体系。涉及高管指令核对、大额资金划转、核心业务调整等高风险场景,必须增加如:线下电话、官方邮件等二次核验步骤,杜绝仅凭音视频指令就开展业务操作的行为。企业可以借助办公平台自带AI检测能力,搭配专业安全工具实现实时风险告警,但也要明确智能检测仅能作为辅助手段。随着攻击者持续迭代对抗技术,检测准确率会不断波动,企业需要紧跟官方安全预警,动态优化自身防御策略。

在安全运营体系搭建上,Gartner判断,完全无人化的全自动AI安全运营中心,短期内难以大规模商用,AI增强型SOC会成为行业主流选型。企业安全建设要突破传统SIEM仅做数据汇总、简单分析的局限,重点强化SOAR安全编排与自动化处置能力,打造人在回路的人机协同运营模式。将海量告警收敛、风险研判、处置方案推荐等重复性工作交由AI承担,最终的风险处置、拦截决策依旧由安全人员把控,同时依靠人工反馈持续优化AI模型,提升风险判定精准度。
针对物理AI安全防护,依托零信任架构优化边界隔离、持续认证能力,联动安全、运维、安防多团队协同管控,对设备调试、生产线启停等不可逆物理操作保留人工干预权限,规避重大生产安全事故。

结合未来三年智能体大规模落地的行业趋势,陈延全提出分级分类的长效治理思路,摒弃一刀切的粗放管控模式。企业可以按照智能体类型、自主运行能力、数据访问权限、模型属性、开发形式等维度划分风险等级,匹配差异化管控策略。嵌入式智能体依靠日志审计、权限收缩、数据范围管控就能满足基础防护需求;针对具备自主决策、记忆迭代能力的目标驱动智能体与多智能体复杂系统,则需要完整落地AI TRiSM治理框架,覆盖应用规范、安全测试、运行监控、风险阻断全生命周期管理。
陈延全最后总结,未来三年国内AI网络安全治理可以凝练为可控增效、分级风控、人机协同三大核心思路。企业无需抗拒AI与智能体规模化落地,反而可以借助AI补齐安全人才短缺的短板;依靠精细化制度约束员工AI使用行为,凭借多层防御体系抵御深度伪造等新型攻击;依托零信任与人机协同机制守住物理AI安全底线,最终打造出适配国内产业场景、契合AI优先发展趋势的全新网络安全治理体系。


