扫一扫
关注微信公众号

生成式人工智能对中国CIO和安全团队的影响
2023-12-25   网络安全和运维

作者:Gartner研究总监 赵宇   Gartner高级研究总监 高峰
 
ChatGPT的热烈炒作、广泛使用和快速蔓延提升了最终用户对LLM和GenAI的认识,引发了一波商业实验和AI初创企业的浪潮。2023年4月的Gartner网络研讨会发现,381名中国参会人员有70%已经或计划启动GenAI项⽬,其中6%已在生产环境部署了GenAI,26%在试点GenAI,38%处于规划阶段。
 
CIO及其安全团队需要为GenAI的影响做好准备,在以下四个方面采取措施:
1. 为构建GenAI应用提供安全保护:AI应用攻击面不断扩大,产生了新的潜在风险,需要对现有应用安全实践进行调整。
2. 管理和监控使用GenAI的方式:各企业机构正在探索如何使用嵌⼊现有应用的GenAI助手,这些应用都有独特的安全要求,是传统安全控制措施无法满足的。
3. 利用生成式网络安全AI进行防御:有效抓住GenAI机遇,从而改善安全和风险管理、 优化资源、抵御新兴攻击技术,甚至降低成本。Gartner将生成式⽹络安全AI定义为 GenAI技术在网络安全中的应用。
4. 为受到GenAI攻击做好准备:GenAI工具和技术不断发展,各企业机构必须适应恶意行为者不断发展的技术或新的攻击向量。
 
图1对此进行了说明
 
CIO及其安全团队不应只是试图跟上新技术发展的步伐,也需要规划和建立一致而有效的AI安全治理计划,以应对GenAI采用激增的局面和各类新兴场景。
AI安全治理项目应整体覆盖组织架构、技术和政策。其早期任务之一就是制定所有构建或部署AI的团队必须遵循的标准,包括安全AI开发、AI数据安全和AI安全应急响应标准。中国CIO和安全团队应与利益相关者和企业机构领导者合作,制定五个阶段的AI安全治理计划(见表1)。

表1: AI安全治理项目的五个阶段及主要行动

阶段 主要行动
1.树立意识 这一阶段的关键是了解AI安全现状。初步建立跨职能的指导委员会,可为确保所有利益相关者的参与打下基础。
具体任务:
  • 清点AI应用和服务
  • 了解威胁态势
  • 设立指导委员会,该委员会可以独立运行,也可以是现有的AI指导委员会或网络安全指导委员会的一部分
2.发现与维护 发现过程在这一阶段真正开始。很多CIO发现,并没有人在负责AI安全,也没有人可以准确地清点企业的全部AI应用。
具体任务:
  • 根据业务影响识别用例并进行分类
  • 识别相应的攻击面
  • 进行安全风险评估
  • 起草“负责、批准、咨询、告知(RACI)”矩阵,用于责任分配
3.弥补差距 在这一阶段,安全漏洞被明显摸清,为制定补救规划奠定了基础。使用第三方Gen AI应用或与供应商合作时,会明确定义选择标准和流程。
具体任务:
  • 制定用户政策、培训和指南
  • 定义厂商选择流程和标准
  • 更新RACI矩阵
4.集成 在这一阶段,初步的关键网络安全修复工作已经完成,重点转向持续监控和长期管理
具体任务:
  • 将AI保护集成到集中统一的安全控制措施中
  • 定义指标
  • 加强指导委员会的参与和监督
  • 任命“安全大使”或“安全冠军”
5.优化 重点是优化网络安全工作,以实现业务韧性、运营差异化和增长。
具体任务:
  • 培训安全和业务人员
  • 建立跨职能实践社区(CoP)和开展研讨会
  • 针对集中式安全工具,开放共享访问并共同承担责任

热词搜索:Gartner 人工智能 安全

上一篇:肯睿Cloudera:2024年临近,反脆弱性助力企业持续成长
下一篇:最后一页

分享到: 收藏