什麼是機器人流量?| 如何終止機器人流量

傀儡程式流量指的是非人為的網站流量。儘管部份傀儡程式流量是有好處,但濫用此作業可能會帶來極大破壞。

學習目標

閱讀本文後,您將能夠:

  • 定義傀儡程式流量。
  • 了解如何辨識傀儡程式流量。
  • 概述惡意傀儡程式的負面影響。
  • 學習如何終止傀儡程式流量。

相關內容


想要繼續瞭解嗎?

訂閱 TheNET,這是 Cloudflare 每月對網際網路上最流行見解的總結!

請參閱 Cloudflare 的隱私權政策,了解我們如何收集和處理您的個人資料。

複製文章連結

使用 Cloudflare 防禦憑證填充和內容剽竊等傀儡程式攻擊

何謂傀儡程式流量?

傀儡程式流量指的是非人為的網站或 App 流量。傀儡程式流量一詞往往隱含負面意義,但事實上它無所謂好或壞,全視傀儡程式的目的而定。

有些傀儡程式對有用服務是不可或缺的,例如:搜尋引擎和數位助理 (例如:Siri、Alexa)。大部份公司歡迎此類傀儡程式造訪其網站。

其他傀儡程式也許是惡意的,例如:用以達成憑證填充資料剽竊,以及發起 DDoS 攻擊。即使部份較良性的「不良」傀儡程式,例如:未經授權網路爬蟲都可能會是個困擾,因為它們可以破壞網站分析,以及建立點擊欺詐。

業界認為在所有網際網路流量中,超過 40% 內含傀儡程式流量,當中有顯著部份屬於惡意傀儡程式。因此許多組織尋求不同方法,管理進入其網站的傀儡程式流量。

如何辨識傀儡程式流量?

網路工程師可直接檢視對其網站的網路查詢,並辨識可能的傀儡程式流量。類似 Google Analytics 或 Heap 的整合式網路分析工具,也有助偵測傀儡程式流量。

以下分析異常可說是傀儡程式流量的表徵:

  • 異常高的瀏覽量:若網站的瀏覽量突然間意外激增,就有可能是傀儡程式點擊網站。
  • 異常高的跳出率:跳出率辨識存取網站單一頁面,卻沒有點選頁面任何一處就離開網站的使用者數量。跳出率意外上升可能是傀儡程式指向單一頁面的結果。
  • 工作階段持續時間出奇的高或低:工作階段持續時間,或留在網站的使用者時間量,應維持得相當穩定。無法解釋的工作階段持續時間升高,可能標示傀儡程式以不尋常的緩慢速度瀏覽網站。相對來說,無法解釋的工作階段持續時間降低,則可能是傀儡程式利用比人類快很多的速度,點選不同頁面。
  • 垃圾郵件轉換率:看似虛假的轉換率激增,例如:利用堆砌的電子郵件地址,或提交假名和電話號碼的聯絡表所建立的帳戶,可能是填表傀儡程式,或垃圾郵件傀儡程式導致的結果。
  • 意外位置的流量激增:特定地區的使用者突然激增,特別是該區不太可能有大量人能流利閱讀網站語言,就有可能是傀儡程式流量。
遭到攻擊?
全面防禦網路攻擊

傀儡程式流量如何傷害分析作業?

如前述,未經授權的傀儡程式流量可能會影響分析指標,例如:頁面檢視、跳出率、工作階段持續時間、使用者地理位置,以及轉換率。這些指標偏差可能會為網站所有人帶來許多困擾,因為如果湧入傀儡程式活動,就非常難以評量網站效能。傀儡程式造成的統計噪音,也會阻礙意圖改善網站的作業,例如:A/B 測試,以及轉換率最佳化作業。

如何從 Google Analytics 篩選出傀儡程式流量

Google Analytics 提供「排除所有已知機器人和蜘蛛的命中率」(蜘蛛指的是爬行網頁的搜尋引擎機器人) 選項。若可辨識機器人流量的來源,Google Analytics 也會向使用者提供具體的應忽視 IP 清單。

儘管這些措施可終止部份傀儡程式干擾分析作業,卻無法全面阻擋所有傀儡程式。此外,除了干擾流量分析外,大部份惡意傀儡程式都是另有所圖,而這些措施只能保護分析資料,卻無法緩解有害傀儡程式的其他活動。

傀儡程式流量如何傷害效能?

傳送大量傀儡程式流量是攻擊者發起 DDoS 攻擊時非常常見的手法。某些類型 DDoS 攻擊大量攻擊網站流量,以致來源伺服器的流量過載,網站速度變得緩慢,甚至完全無法供合法使用者存取。

傀儡程式流量如何對事業帶來不良影響?

即使效能未受影響,部份網站可能會因為惡意傀儡程式流量而導致財務損失。依賴廣告,以及庫存量有限的販售網站,特別容易受到攻擊。

針對廣告網站,機器人登錄網站,並點擊頁面的不同元素,以觸發偽造的廣告點擊率。此行為名為點擊欺詐。儘管這樣做一開始可能會提供廣告收入,線上廣告網路很擅於偵測機器人點擊。若他們懷疑特定網站涉及點擊欺詐,將採取行動,通常是禁止網站和其持有人加入其網路。因此,代管廣告的網站持有人需要對機器人點擊欺詐特別提高警覺。

庫存有限的網站可能是庫存囤積機器人的攻擊目標。如其名稱意義,這些機器人進入電子商務網站,並將數噸商品丟進其購物籃內,以致於合法購物者無法購買商品。在部分情況下,此舉可能會觸發供應商或製造商不必要的再供貨。庫存囤積機器人不會下單購買,它們僅旨在干擾庫存的供應。

網站可如何管理傀儡程式流量?

網站阻止或管理機器人流量的第一步是置入 robots.txt 檔案。此檔案為機器人提供爬行網頁的說明,更可設定為防止機器人造訪或與網頁互動。但應注意:善意機器人會遵循 robots.txt 的規定,卻無法防止惡意機器人爬行網站。

有些工具有助緩解濫用的機器人流量。Rate Limiting 解決方案能偵測和防止來自單一 IP 位址的機器人流量,儘管此舉將仍忽視許多惡意機器人流量。除了 Rate Limiting 外,網路工程師可檢查網站流量並辨識可疑的網路查詢,透過類似 WAF 的篩選工具,提供應封鎖的 IP 位址清單。這是個高度人力密集的流程,但仍能阻止部份的惡意機器人流量。

除了限速和工程師直接干預,阻止惡意機器人流量的輕鬆且最有效方法是採用機器人管理解決方案。機器人到達網站前,機器人管理解決方案就能藉助智慧,和使用行為分析來阻擋惡意機器人。例如:Cloudflare 機器人管理採用來自 1,300 萬網際網路內容的智慧,並以機器學習主動辨識和阻擋機器人濫用。Super Bot Fight 模式在 Pro 和商業方案中可用,為較小的組織提供類似的可見性和對其機器人流量的控制。