What is bot traffic? | How to stop bot traffic

傀儡程式流量指的是非人為的網站流量。儘管部份傀儡程式流量是有好處,但濫用此作業可能會帶來極大破壞。

學習目標

閱讀本文後,您將能夠:

  • 定義傀儡程式流量。
  • 了解如何辨識傀儡程式流量。
  • 概述惡意傀儡程式的負面影響。
  • 學習如何終止傀儡程式流量。

複製文章連結

何謂傀儡程式流量?

傀儡程式流量指的是非人為的網站或 App 流量。傀儡程式流量一詞往往隱含負面意義,但事實上它無所謂好或壞,全視傀儡程式的目的而定。

有些傀儡程式對有用服務是不可或缺的,例如:搜尋引擎和數位助理 (例如:Siri、Alexa)。大部份公司歡迎此類傀儡程式造訪其網站。

其他傀儡程式也許是惡意的,例如:用以達成憑證填充資料剽竊,以及發起 DDoS 攻擊。即使部份較良性的「不良」傀儡程式,例如:未經授權網路爬蟲都可能會是個困擾,因為它們可以破壞網站分析,以及建立點擊欺詐。

業界認為在所有網際網路流量中,超過 40% 內含傀儡程式流量,當中有顯著部份屬於惡意傀儡程式。因此許多組織尋求不同方法,管理進入其網站的傀儡程式流量。

如何辨識傀儡程式流量?

網路工程師可直接檢視對其網站的網路查詢,並辨識可能的傀儡程式流量。類似 Google Analytics 或 Heap 的整合式網路分析工具,也有助偵測傀儡程式流量。

以下分析異常可說是傀儡程式流量的表徵:

  • 異常高的瀏覽量:若網站的瀏覽量突然間意外激增,就有可能是傀儡程式點擊網站。
  • 異常高的跳出率:跳出率辨識存取網站單一頁面,卻沒有點選頁面任何一處就離開網站的使用者數量。跳出率意外上升可能是傀儡程式指向單一頁面的結果。
  • 工作階段持續時間出奇的高或低:工作階段持續時間,或留在網站的使用者時間量,應維持得相當穩定。無法解釋的工作階段持續時間升高,可能標示傀儡程式以不尋常的緩慢速度瀏覽網站。相對來說,無法解釋的工作階段持續時間降低,則可能是傀儡程式利用比人類快很多的速度,點選不同頁面。
  • 垃圾郵件轉換率:看似虛假的轉換率激增,例如:利用堆砌的電子郵件地址,或提交假名和電話號碼的聯絡表所建立的帳戶,可能是填表傀儡程式,或垃圾郵件傀儡程式導致的結果。
  • 意外位置的流量激增:特定地區的使用者突然激增,特別是該區不太可能有大量人能流利閱讀網站語言,就有可能是傀儡程式流量。

傀儡程式流量如何傷害分析作業?

如前述,未經授權的傀儡程式流量可能會影響分析指標,例如:頁面檢視、跳出率、工作階段持續時間、使用者地理位置,以及轉換率。這些指標偏差可能會為網站所有人帶來許多困擾,因為如果湧入傀儡程式活動,就非常難以評量網站效能。傀儡程式造成的統計噪音,也會阻礙意圖改善網站的作業,例如:A/B 測試,以及轉換率最佳化作業。

如何從 Google Analytics 篩選出傀儡程式流量

Google Analytics does provide an option to “exclude all hits from known bots and spiders” (spiders are search engine bots that crawl webpages). If the source of the bot traffic can be identified, users can also provide a specific list of IPs to be ignored by Google Analytics.

儘管這些措施可終止部份傀儡程式干擾分析作業,卻無法全面阻擋所有傀儡程式。此外,除了干擾流量分析外,大部份惡意傀儡程式都是另有所圖,而這些措施只能保護分析資料,卻無法緩解有害傀儡程式的其他活動。

傀儡程式流量如何傷害效能?

傳送大量傀儡程式流量是攻擊者發起 DDoS 攻擊時非常常見的手法。某些類型 DDoS 攻擊大量攻擊網站流量,以致來源伺服器的流量過載,網站速度變得緩慢,甚至完全無法供合法使用者存取。

傀儡程式流量如何對事業帶來不良影響?

即使效能未受影響,部份網站可能會因為惡意傀儡程式流量而導致財務損失。依賴廣告,以及庫存量有限的販售網站,特別容易受到攻擊。

For sites that serve ads, bots that land on the site and click on various elements of the page can trigger fake ad clicks; this is known as click fraud. While this may initially result in a boost in ad revenue, online advertising networks are very good at detecting bot clicks. If they suspect a website is committing click fraud, they will take action, usually in the form of banning that site and its owner from their network. For this reason, owners of sites that host ads need to be ever-wary of bot click fraud.

Sites with limited inventory can be targeted by inventory hoarding bots. As the name suggests, these bots go to e-commerce sites and dump tons of merchandise into their shopping carts, making that merchandise unavailable for purchase by legitimate shoppers. In some cases this can also trigger unnecessary restocking of inventory from a supplier or manufacturer. The inventory hoarding bots never make a purchase; they are simply designed to disrupt the availability of inventory.

網站可如何管理傀儡程式流量?

The first step to stopping or managing bot traffic to a website is to include a robots.txt file. This is a file that provides instructions for bots crawling the page, and it can be configured to prevent bots from visiting or interacting with a webpage altogether. But it should be noted that only good bots will abide by the rules in robots.txt; it will not prevent malicious bots from crawling a website.

A number of tools can help mitigate abusive bot traffic. A rate limiting solution can detect and prevent bot traffic originating from a single IP address, although this will still overlook a lot of malicious bot traffic. On top of rate limiting, a network engineer can look at a site’s traffic and identify suspicious network requests, providing a list of IP addresses to be blocked by a filtering tool such as a WAF. This is a very labor-intensive process and still only stops a portion of the malicious bot traffic.

Separate from rate limiting and direct engineer intervention, the easiest and most effective way to stop bad bot traffic is with a bot management solution. A bot management solution can leverage intelligence and use behavioral analysis to stop malicious bots before they ever reach a website. For example, Cloudflare Bot Management uses intelligence from over 25,000,000 Internet properties and applies machine learning to proactively identify and stop bot abuse. Super Bot Fight Mode, available on Pro and Business plans, offers smaller organizations similar visibility and control over their bot traffic.