What is bot traffic? | How to stop bot traffic

ボットトラフィックはWebサイトへの人間以外によるトラフィックです。 有益なボットトラフィックもありますが、悪意のあるボットトラフィックの場合は非常に破壊的になり得ます。

学習目的

この記事を読み終えると、以下のことができるようになります。

  • ボットトラフィックを定義する
  • ボットトラフィックを識別する方法を理解する
  • 悪意のあるボットがもたらす悪影響を概説する
  • ボットトラフィックを止める方法を学習する

記事のリンクをコピーする

ボットトラフィックとは?

ボットトラフィックとは、Webサイトまたはアプリへのノンヒューマントラフィック(人以外のトラフィック)のことを指します。ボットトラフィックという用語は、否定的な意味合いを持つことが多いですが、実のところボットトラフィック自体に善悪があるのではなく、その良し悪しは、ボットの目的によって決まります。

一部のボットは、検索エンジンやデジタルアシスタント(SiriやAlexaなど)といった便利なサービスに不可欠です。そうしたボットはほとんどの会社のサイトで歓迎されています。

たとえば、クレデンシャルスタッフィング攻撃データスクレイピングDDoS攻撃などの目的で使用されるボットは悪意のあるものである場合があります。無許可のWebクローラのようなやや悪性度の低い「悪性」ボットも、迷惑なものとなり得ます。これらはサイト分析を邪魔したり、クリック詐欺を行ったりするためです。

インターネットトラフィックの40%以上は、ボットトラフィックで構成されていて、その大部分は悪意のあるボットだと言われています。そのような理由で、多くの企業は各自のサイトへのボットトラフィックを管理する方法を模索しています。

ボットトラフィックはどのように特定できるか?

Webエンジニアは、各自のサイトへのネットワークリクエストを直接見て、ボットトラフィックと思われるものを特定できます。Google AnalyticsやHeapといった統合型Web分析ツールは、ボットトラフィックを検出するのに役立ちます。

以下のようなデータ分析の異常値は、ボットトラフィックであることを示す危険信号です:

  • 異常に高いページビュー数: サイトにて予期せぬ前例のないページビューの急増が突然起きた場合、サイトでボットによる不正クリックが発生している可能性が高いです。
  • 異常に高い直帰率:直帰率とは、サイトの1つのページを訪問してページ上のどこもクリックせずに立ち去るユーザーの数を示すものです。直帰率の予期しない上昇は、ボットが単一のページに誘導された結果である可能性があります。
  • 非常に長いまたは短いセッション時間:ユーザーがWebサイト内に留まっている時間を表すセッション時間は、比較的一定であるはずです。説明のつかないセッション時間の増加は、異常に遅い速度でボットがサイトを閲覧していることを示している可能性があります。反対に、予期しないセッション時間の減少は、人間のユーザーよりずっと速くボットがサイト上のページをクリックしている可能性を示しています。
  • ジャンクコンバージョン:でたらめのメールアドレスを使用したアカウントの作成または偽名や偽の電話番号を使用して送信された問い合わせフォームといった不審なコンバージョンの急増は、フォーム入力ボットまたはスパムボットが原因である可能性があります。
  • 予期しない場所からのトラフィックの急上昇:特にサイトの母国語を使用しない人が多くいる地域など、特定の1つの地域からのユーザーの数の急上昇は、ボットトラフィックの可能性を示唆しています。

ボットトラフィックによる分析への悪影響とは?

前述のように、不正なボットトラフィックは、ページ閲覧数、直帰率、セッション時間、ユーザーの位置情報、コンバージョン率といった分析指標に影響を与えることがあります。そうした指標の偏差は、サイト所有者にとって多大なフラストレーションになる場合があります。ボット活動で溢れかえっているサイトのパフォーマンスを測定することは非常に難しくなるためです。A/Bテストやコンバージョン率最適化といったサイトのパフォーマンスを向上させる試みも、ボットが原因で引き起こされる統計ノイズによって妨げられてしまいます。

Google Analyticsからのボットトラフィックをフィルター処理する方法

Google Analytics does provide an option to “exclude all hits from known bots and spiders” (spiders are search engine bots that crawl webpages). If the source of the bot traffic can be identified, users can also provide a specific list of IPs to be ignored by Google Analytics.

こうした対策は一部のボットが分析を妨げるのを抑止しますが、すべてのボットを阻止することはできません。また、大部分の悪意のあるボットには、トラフィック分析を妨げること以上の不正な目的があるため、こうした対策は、分析データの保護以外、有害なボットアクティビティの軽減に対しては何の効果もありません。

ボットトラフィックによるパフォーマンスへの悪影響とは?

大量のボットトラフィックの送信は攻撃者がDDoS攻撃を始める非常に一般的な方法です。一部のタイプのDDoS攻撃では、大量の攻撃トラフィックがWebサイトに向けられるため、配信元サーバーに過負荷がかかり、webサイトの表示速度が遅くなったり、あるいは正当なユーザーが利用できなくなる、といった状況が発生します。

ボットトラフィックによる企業への悪影響とは?

一部のWebサイトは、パフォーマンスに影響がない場合でも、悪意のあるボットトラフィックによって金銭的損失を被る可能性があります。広告に依存するサイトや限られた在庫しか持たない商品販売サイトは特に脆弱です。

For sites that serve ads, bots that land on the site and click on various elements of the page can trigger fake ad clicks; this is known as click fraud. While this may initially result in a boost in ad revenue, online advertising networks are very good at detecting bot clicks. If they suspect a website is committing click fraud, they will take action, usually in the form of banning that site and its owner from their network. For this reason, owners of sites that host ads need to be ever-wary of bot click fraud.

Sites with limited inventory can be targeted by inventory hoarding bots. As the name suggests, these bots go to e-commerce sites and dump tons of merchandise into their shopping carts, making that merchandise unavailable for purchase by legitimate shoppers. In some cases this can also trigger unnecessary restocking of inventory from a supplier or manufacturer. The inventory hoarding bots never make a purchase; they are simply designed to disrupt the availability of inventory.

Webサイトはどのようにボットトラフィックを管理できるか?

The first step to stopping or managing bot traffic to a website is to include a robots.txt file. This is a file that provides instructions for bots crawling the page, and it can be configured to prevent bots from visiting or interacting with a webpage altogether. But it should be noted that only good bots will abide by the rules in robots.txt; it will not prevent malicious bots from crawling a website.

A number of tools can help mitigate abusive bot traffic. A rate limiting solution can detect and prevent bot traffic originating from a single IP address, although this will still overlook a lot of malicious bot traffic. On top of rate limiting, a network engineer can look at a site’s traffic and identify suspicious network requests, providing a list of IP addresses to be blocked by a filtering tool such as a WAF. This is a very labor-intensive process and still only stops a portion of the malicious bot traffic.

Separate from rate limiting and direct engineer intervention, the easiest and most effective way to stop bad bot traffic is with a bot management solution. A bot management solution can leverage intelligence and use behavioral analysis to stop malicious bots before they ever reach a website. For example, Cloudflare Bot Management uses intelligence from over 25,000,000 Internet properties and applies machine learning to proactively identify and stop bot abuse. Super Bot Fight Mode, available on Pro and Business plans, offers smaller organizations similar visibility and control over their bot traffic.