AI Crawl Control
AIコンテンツスクレイピングの可視性と制御
AIクローラーは、リファラルを送信するたびに、ウェブページを何千回もスクレイピングする場合があります。AI Crawl Controlにより、コンテンツへのアクセスのタイミングと方法を制御できます。
CloudflareのAI Crawl Controlの利点
可視性の向上
どのAIクローラーがあなたのサイトをスクレイピングしているのか、どのくらいの頻度で行っているのか、そしてそれらがあなたのルールに従っているかを理解しましょう。
より強力な制御
クローラーごとの戦略を設定し、ブロックするクローラーと許可するクローラーを決定します。
正確な検出
Cloudflareの全インターネットトラフィックの20％に対する可視性に基づき、機械学習、行動分析、フィンガープリンティングを使用します。
収益化
データのスクレイピングに対して、選択したAIクローラーに請求[プライベートベータ版]。
仕組み
WebサイトでAIクローラーをブロック、許可、請求
Cloudflareは、世界のインターネットトラフィックに対する広範な可視性のおかげで、他のどのプロバイダーよりも多くのAIボットを検知し、フィンガープリントしています。
AI Crawl Controlは、この可視性を活用して、ドメイン上のAIクローラー活動に関する詳細な洞察を提供します。また、次のことができます：
- 特定のクローラーをブロックしたり許可したりする
- 特定のクローラーがコンテンツにアクセスする際に対価を徴収 [プライベートベータ版]
お客様の声
Cloudflareボット管理ソリューションの素晴らしい点は、微調整に時間を費やす必要がないことです。Cloudflareは優れたデータを備えているため、機械学習アルゴリズムがうまく機能するのです。作業は1000倍楽になったのに、お客様向けサイトの安全性や高速性も変わらず確保できています。
セキュリティエンジニアリング担当マネージャー — SoFi
AI Crawl Controlの主なユースケース
知的財産を保護する
どのAIクローラーが、デジタル環境のどのドメインにアクセスできるかを管理する
Webパフォーマンスを向上
繰り返しのAIクロールが配信元サーバーを圧倒するのを防ぐ
マーケティング分析を整理する
AIクローラーによる繰り返しのスクレイピングで、Webのトラッキングデータが歪むのを防ぐ
