AI Crawl Control
针对 AI 内容抓取的可见性和控制
AI 爬网程序可能为每一次推荐抓取数千次网页。AI Crawl Control 让您能够掌控这些爬网程序何时以及如何访问网站内容。
Cloudflare AI Crawl Control 的优势
更佳的可见性
了解哪些 AI 爬虫在抓取您的网站、抓取频率，以及它们是否遵循您的规则。
更强的控制
为每个爬虫单独设置策略，决定哪些应被阻止，哪些应被允许通过。
准确检测
使用机器学习、行为分析和指纹识别，基于 Cloudflare 对全球 20% 互联网流量的可见性。
变现
向您选择的 AI 爬虫收取数据爬取费用 [内测中]。
工作原理
在您的网站上阻止、允许或对 AI 爬虫收费
凭借对全球互联网流量的广泛可见性，Cloudflare 识别并标记的 AI 机器人数量超过其他任何服务商。
AI Crawl Control 利用这种可见性，为您提供关于域网站上的 AI 爬网程序活动的精细化见解。它也可以让您：
- 阻止或允许特定爬虫
- 允许某些爬虫付费访问您的内容 [内测中]
客户感言
Cloudflare 机器人管理解决方案的最大优点是不需要我花时间进行精细调优。 机器学习算法非常奏效，因为 Cloudflare 拥有如此出色的数据。我们的上线容易了 1000 倍，同时仍可确保我们为客户提供安全快速的网站。
安全工程经理 — SoFi
AI Crawl Control 的主要用例
保护知识产权
决定哪些 AI 爬网程序可以访问您数字环境中的哪些域
改善 Web 性能
防止重复的 AI 抓取导致源服务器过载
清理营销分析
阻止 AI 爬网程序通过重复抓取，导致网络跟踪数据失真
