Cloudflare 为全球最大型的网络之一提供技术支持,帮助管理和保护 20% 的 Web 流量。Cloudflare 每天处理数万亿次请求,因此,拥有全球最先进的机器人管理解决方案,可准确区分人类用户和 AI 爬网程序。Cloudflare 通过其复杂的机器人检测系统,结合机器学习、行为分析和指纹识别来识别和区分 AI 爬网程序。这些工具能够准确地对流量进行分类,并将 AI 爬网程序与搜索引擎机器人,以及其他“善意”机器人区分开来。Cloudflare 还运营世界上最大的验证机器人计划,该计划能够高精度检测 AI 爬虫,并允许机器人操作者自行声明其爬虫的目的或意图。