ボット管理ではWebサイトやアプリケーションで、いくつかのボットを識別し、ブロックしながら、その他ボットへのアクセスは許可することを必要とします。
この記事を読み終えると、以下のことができるようになります。
関連コンテンツ
是非、Cloudflareが毎月お届けする「theNET」を購読して、インター ネットで最も人気のある洞察をまとめた情報を入手してください!
記事のリンクをコピーする
ボット管理とは、望まない、または悪意のあるインターネットボットトラフィックをブロックし、有用なボットがWebプロパティにアクセスできるようにすることです。ボット管理は、ボットのアクティビティを検出し、ボットの望ましい挙動と望ましくない挙動を識別し、望ましくないアクティビティの原因を特定することでこれを実現します。
ボットの管理は不可欠です。ボットを未確認のまま放置すると、Webプロパティに重大な問題を引き起こす可能性があるためです。ボットのトラフィックが大量に発生すると、Webサーバーに大きな負荷となる可能性があり、さらにそれが正当なユーザーへのサービス遅延や停止を引き起こしかねません(ときに、これがDDoS攻撃のようになることもあります)。悪意のあるボットは、Webサイトからコンテンツをスクレイピングやダウンロードし、ユーザー資格情報を盗み、スパムコンテンツを急速に拡散させ、さまざまな種類のサイバー攻撃を実行できます。
ボットマネージャーは、ボットを管理するすべてのソフトウェア製品です。ボットマネージャーは、人間以外のトラフィックをすべてブロックするのではなく、一部のボットをブロックし、他のボットを許可できなければなりません。たとえば、すべてのボットがブロックされ、Googleボットがページのインデックスを作成できない場合、そのページはGoogle検索結果に表示されず、Webサイトへのオーガニックトラフィックが大幅に減少します。
優れたボットマネージャーは、次の目標を達成します:
ボットは、ネットワーク上で動作するコンピュータープログラムです。ボットは、特定のアクションを自動的に実行するようにプログラムされています。通常、ボットが実行するタスクはかなり単純ですが、ボットは人間よりもはるかに高速で何度でも実行できます。
たとえば、Googleはボットを使用してWebページを絶えずクロールし、検索用にコンテンツのインデックス付けを行います。人間のチームがインターネット全体に広がるコンテンツを確認するには天文学的な時間がかかりますが、GoogleのボットはGoogleの検索インデックスを最新に保つことができます。
ネガティブな例として、スパマーはメール収集ボットを使用して、インターネット全体からメールアドレスを収集します。ボットはWebページをクロールし、メールアドレス形式(テキスト+ @シンボル+ドメイン)のテキストを探してそのテキストをデータベースに保存します。当然、人間もWebページでメールアドレスを探すことができますが、これらのメール収集ボットは自動化され、特定のパラメーターに適合するテキストのみを検索するため、メールアドレスの特定が飛躍的に速くなります。
人間のユーザーがインターネットにアクセスする場合とは異なり、通常、ボットはGoogle ChromeやMozilla Firefoxのような従来のWebブラウザを介してインターネットに接続しません。マウス(あるいはスマートフォン)を操作してブラウザに表示される視覚的コンテンツをクリックする代わりに、ボットは単にHTTPリクエスト(およびそのほかの活動)をするソフトウェアプログラムであり、多くの場合「ヘッドレスブラウザ」と呼ばれるブラウザを使用します。
ボットは基本的に、繰り返しの多い、創造的でないタスク、つまり自動化できるあらゆるタスクを実行できます。ボットはWebページとの対話、フォームの入力および送信、リンクのクリック、テキストのスキャン(いわゆる「クロール」)、コンテンツのダウンロードなどを行えます。ボットは、動画を「視聴」し、コメントを投稿し、ソーシャルメディアプラットフォームに投稿、いいね、またはリツイートすることができます。一部のボットは、人間のユーザーとの基本的な会話を行うこともできます。これらはチャットボットとして知られています。
驚くべきことに、多くのソースは、すべてのインターネットトラフィックのおよそ半分がボットトラフィックであると推定しています。すべてではなく、一部のソフトウェアがマルウェアであるのと同様に、一部のボットは悪意のあるもので、そしていくつかは、「正当な」ものです。
オンラインの製品またはサービスを悪用するボットは、「悪意のあるもの」とみなすことができます。悪意のあるボットは、ユーザーアカウントに侵入しようとするボットなどの露骨に悪意のあるものから、イベントWebサイトでチケットを買い占めるボットなどのより軽度のリソースの不正使用までさまざまです。
必要なサービスまたは有用なサービスを実行するボットは「正当」であると見なすことができます。カスタマーサービス用のチャットボット、検索エンジンクローラー、パフォーマンス監視ボットなどは、すべて正当なボットの例です。正当なボットは、Webサイトのrobots.txtファイルで概説されているルールを探してそれを順守します。
Robots.txtは、そのサーバーのプロパティにアクセスするボットのルールを概説するWebサーバー上のファイルです。ただし、ファイル自体はこれらの規則を強制しません。基本的に、ボットをプログラムする人は自主的に、Webサイトにアクセスする前にボットがWebサイトのrobots.txtファイルをチェックするようにすることを期待されます。もちろん、悪意のあるボットは通常、このシステムには従いません。そのため、ボット管理が必要です。
ボットを識別するために、ボットマネージャーはJavaScriptチャレンジ(従来のWebブラウザが使用されているかどうかを決定します)またはCAPTCHAチャレンジを使用できます。また、行動分析–ユーザーの行動を過去のユーザーの標準的挙動と比較することによって、どのユーザーが人間であり、どのユーザーがボットであるかを判断することもあります。後者を実施するためには、ボットマネージャーは、基準とするための質の高い挙動データを大量に所有している必要があります。
悪意のあるボットだと判明した場合、異なるページに転送するか、あるいはWebリソースにアクセスできないようにブロックすることができます。
良性のボットは許可リスト、つまり許可されたボットのリスト(ブロックリストの反対)に追加できます。また、ボットマネージャーは挙動解析を通じて良性のボットと悪性のボットを区別できます。
別のボット管理アプローチは、robots.txtファイルを使用してハニーポットをセットアップすることです。ハニーポットは、悪意のある行為者向けの偽の標的であり、アクセスされると悪意のある行為者を悪意のあるものとして暴露します。ボットの場合、robots.txtファイルによってボットが禁止されているサイトのWebページがハニーポットになりえます。正当なボットはrobots.txtファイルを読み取り、そのWebページを回避しますが、一部の悪意のあるボットはそのWebページをクロールします。ハニーポットにアクセスするボットのIPアドレスを追跡することにより、悪意のあるボットを特定してブロックできます。
ボット管理ソリューションは、さまざまな攻撃の阻止に役立ちます。
次のようなその他のボット活動は必ずしも「悪意のある」ものとは限りませんが、ボットマネージャーはそれらを軽減できなければなりません。
Cloudflareは、1日にネットワークを行き交う何十億ものリクエストからデータを集めるという他社にはない能力を持っています。Cloudflareはこのデータを使って、機械学習と行動分析によりボットのアクティビティを識別でき、正当なボットの許可リストと悪意のあるボットのブロックリストを効果的に作成するために必要なデータを提供することができます。Cloudflareには、広範囲なIPレピュテーションのデータベースもあります。Cloudflare Bot Managementの詳細をご確認ください。
Cloudflare ProプランとBusinessプランでご利用いただけるSuper Bot Fight Modeは、より小規模な組織が、ボットの攻撃に備え、ボットトラフィックを視覚化できるようにします。