为此，我们专访了Akamai安全专家、大中华区售前技术经理马俊，结合Akamai最新发布的《互联网安全态势报告》核心内容，一起来深度解析AI爬虫所造成的行业影响、它的攻击逻辑及如何选择系统化的防御方案。
300%增速背后的行业冲击
“过去一年，AI Bot 爬虫流量增长高达 300%，相当于一年内规模扩大三倍，且增速仍在加快。”马俊先介绍了一组令人震撼的数据。爆发式的增长是因为两个主要原因，一个是大规模模型的训练对于数据有着极大的需求；另一个是现在大家所接触的各种各样的Agent类的应用还有搜索检索的应用越来越多。
首先按照行业的分布来看，电商行业作为重灾区，AI Bot流量占比达到47%；在Akamai监测到的AI Bot流量中，近一半流量均指向电商网站，进行的是价格抓取、库存查询以及账号接管等工作。“电商大促期间，价格频繁变动吸引大量 AI 爬虫集中攻击，某客户曾遭遇增量流量中半数为 AI Bot 的情况，不仅导致源站性能下降，还误导了营销决策。”。马俊补充说明道。
Akamai大中华区售前技术经理 马俊
金融行业AI Bot的流量只占4%，但是其攻击规模达到十亿级别，是保险行业的六倍，80%都是训练类爬虫，因为直接关系到投资决策的金融数据被作为重点对象，所以诱发虚假网站钓鱼等安全问题。医疗行业作为高价值的目标，吸引了大量的AI爬虫获取数据，超过90%的AI机器人触发主要归因于抓取活动，一旦数据泄露将会遭受高额的处罚以及勒索的风险。
出版行业的此类零点击问题尤为严重，本来通过搜索引擎来为网站引来海量的真实用户流量，实现内容变现功能的，但由于AI爬虫直接抓取了这些网站上的优质资源返回给用户，导致网站流量无法转化变现，其核心资产得不到合理的收益保障，而是无偿地被AI爬虫利用了。——马俊如是说。
不得不提的是，AI爬虫已经突破传统攻击边界，运用强化学习可以动态调整爬虫请求频率来绕过统计异常检测，也可以模拟真实的人类的鼠标移动轨迹来绕过蜜罐系统，甚至能逆向解析API Schema来做调用，绕过大部分基于统计或者机器学习的检测方法。更为危险的是，比如随着FraudGPT和WormGPT等不良模型出现之后，对很多初级网络攻击者来说，只需要极少量的钱就可以获取钓鱼工具、获取恶意代码，把攻击的触角从企业的网络延伸到了个人设备。
从观察观望到精准治理
从报告看，目前全球企业的AI爬虫防护还存在明显的地域性，各行业也呈现出不同类型的应对措施，如电商行业要严防Magecart攻击，防止其利用嵌入式恶意代码盗取用户的支付信息；金融业要严防钓鱼攻击，防止诈骗者使用假网站冒充真实网站来获取用户账号密码；医疗行业承载着高价值的患者隐私数据（PHI），且对业务中断的容忍度极低，因此必须防止勒索软件和数据窃取攻击；而出版行业则是想方设法通过盈利的方式获取内容变现的利益。
行业应对的关键就是先评估、后决策。马俊认为企业首先要判断AI爬虫是否是模型训练等场景下的合规抓取，还是带有恶意目的的滥用？是否会为企业创造流量价值，或是给企业造成性能损失和数据风险？企业在做出决策时应根据实际情况进行区分对待，而不是简单的通行或封杀。
在出版行业，Akamai联合TollBit和Skyfire推出“基于HTTP 402 标准的解决方案”，一旦检测到AI爬虫来访，便通过支付网关生成支付凭证，根据请求量/数据量来收费，将此前的抓取收入变成交付收益。这样既可以保护内容提供者利益，同时又给企业开放了获益入口，后续合法获取数据的渠道畅通无阻。
此外，对金融行业来说还要加强多层次防御，除了IP封锁之外，增加多因子认证，做一下身份验证漏洞排查，防止撞库和账号接管；而马俊则强调：金融行业是AI爬虫攻击的重要目标，在发现用户出现财务风险的行为之后，就必须要进行实时阻断，或根据风险等级采取差异化处置。
构建全链路防护体系
面对被AI驱动的智能化攻击，传统防御方法已经显得力不从心了。要守护自己的安全领地就不能墨守成规，只有用尖端的技术去对抗才可能成功。AI要保护AI，只有使用AI去对抗AI才能安全。Akamai提供的是一套围绕着AI的系统化防护，而非某一款针对AI而设计的产品或者功能。
资产发现为第一道防线，很多企业的实际应用中存在着影子API，或者是管理上的疏漏导致的风险敞口的存在。马俊认为需要全面梳理所有的API资产，做到接口全量管控，从根源上做到减小攻击面。
态势管理进行漏洞排查时，采用OWASP标准框架，针对API开发过程中代码漏洞、水平越权、缺乏身份认证等风险项进行主动检测，优先治理具有重要价值的API资产，从根本上杜绝因风险带来的安全隐患问题的发生。
在运行时保护上实现在线反制功能，基于AI能力实现OWASP Top10的AI爬虫实时检测，并实时预警及联动反制AI爬虫的试探性攻击，并运用43类AI Bot标签精准识别已知爬虫，通过主动探测和被动识别相结合的方式辨别未知访客。
安全测试可促进防护左移，利用静态代码检测和API库渗透检测等方式提前发现新型攻击漏洞，在开发阶段就做好防护工作，即从代码开始到上线全过程的统一防护。
马俊建议，对于资源有限的中小微企业，从三个方面入手：一是按照行业类型，聚焦于行业主要的业务和风险，比如金融类的企业最需要的是做好访问控制和身份认证，医疗类企业的重点在于数据加密等等；二是可以考虑选用符合OWASP组织提出的一站式防护的产品或方案；三是根据自身实际情况，优先处置高风险漏洞，逐步完善防护能力。
在技术选型方面，马俊强调做好六个关键维度的工作：技术先进性，需具备AI对抗AI的核心能力；持续迭代能力，能及时更新漏洞情报与攻击模式；全面可观测性，实现流量与风险的精准识别；准确性与鲁棒性，保障低误报、低漏报；可操作性，支持与现有运维系统集成；合规性，满足不同地区数据保护法规要求。
从行业冲击到防御实践，从企业防护到个人安全，AI爬虫带来的挑战已经渗透到了网络生态的各个层面。只有构建出以AI对抗AI的安全技术体系，并且结合行业特性与合规要求，实施精准的全链路防护，才能在AI加持的安全中实现业务发展与风险防控的动态平衡。
