Was ist Bot-Traffic? | So wird Bot-Traffic gestoppt

Bot-Traffic ist nicht-menschlicher Traffic zu einer Website. Auch wenn bestimmtes Bot-Traffic nützlich ist, kann missbräuchlicher Bot-Traffic sehr störend sein.

Share facebook icon linkedin icon twitter icon email icon

Bot-Traffic

Lernziele

Nach Lektüre dieses Artikels können Sie Folgendes:

  • Definition von Bot-Traffic.
  • Lernen Sie, wie Bot-Traffic erkannt wird.
  • Erläutern Sie die negativen Folgen von böswilligen Bots.
  • Erfahren Sie, wie Bot-Traffic gestoppt wird.

Was ist Bot-Traffic?

Bot-Traffic beschreibt jeden nicht-menschlichen Traffic zu einer Website oder einer App. Der Begriff Bot-Traffic wird oft negativ interpretiert, aber in Wirklichkeit ist Bot-Traffic nicht unbedingt gut oder schlecht – es hängt alles vom Zweck der Bots ab.

Einige Bots sind für nützliche Dienste wie Suchmaschinen und digitale Assistenten (z. B. Siri, Alexa) unentbehrlich. Die meisten Unternehmen begrüßen diese Art von Bots auf ihren Websites.

Andere Bots können böswillig sein, z. B. Bots, die für Credential Stuffing, Data Scraping und DDoS-Angriffe eingesetzt werden. Selbst einige der gutartigeren „schädlichen“ Bots, wie z. B. nicht autorisierte Webcrawler, können lästig sein, da sie die Websiteanalyse stören und Klickbetrug verursachen können.

Es wird angenommen, dass über 40 % des gesamten Internet-Traffics aus Bot-Traffic besteht, und ein beträchtlicher Teil davon sind böswillige Bots. Deshalb suchen so viele Unternehmen nach Möglichkeiten, den Bot-Traffic auf ihren Websites in den Griff zu bekommen.

Woran kann man Bot-Traffic erkennen?

Webtechniker haben direkten Einblick in die Netzwerkanfragen an ihre Websites und können damit wahrscheinlichen Bot-Traffic identifizieren. Auch mit einem integrierten Webanalysetool wie Google Analytics oder Heap kann man Bot-Traffic erkennen.

Die folgenden Anomalien bei Analysen sind typische Merkmale des Bot-Traffics:

  • Ungewöhnlich hohe Zahl von Seitenaufrufen: Wenn bei einer Website ein plötzlicher, beispielloser und unerwarteter Anstieg der Seitenaufrufe auftritt, ist es wahrscheinlich, dass sich Bots durch die Website klicken.
  • Ungewöhnlich hohe Bounce Rate: Als Bounce Rate wird die Anzahl der Benutzer bezeichnet, die eine einzelne Seite eines Webauftritts aufrufen und dann die Website wieder verlassen, ohne auf der Seite etwas anzuklicken. Ein unerwarteter Anstieg der Bounce Rate kann dadurch bewirkt werden, dass Bots auf eine einzelne Seite gerichtet sind.
  • Überraschend lange oder kurze Sitzungsdauer: Die Sitzungsdauer bzw. die Zeit, die Benutzer auf einer Website bleiben, sollte relativ stabil sein. Eine unerklärliche Erhöhung der Sitzungsdauer könnte ein Hinweis darauf sein, dass Bots die Website ungewöhnlich langsam durchsuchen. Umgekehrt könnte eine unerwartete Verkürzung der Sitzungsdauer dadurch bewirkt werden, dass Bots die Seiten auf der Website viel schneller durchklicken als ein menschlicher Benutzer.
  • Junk-Konversionen: Zu einer Zunahme von vorgetäuschten Konversionen – z. B. Kontoerstellungen mit unsinnigen E-Mail-Adressen oder mit gefälschten Namen und Telefonnummern ausgefüllte Kontaktformulare – kann es kommen, wenn Formulare von Bots oder Spam-Bots ausgefüllt werden.
  • Plötzlicher Traffic-Anstieg aus einem unerwarteten Gebiet: Ein plötzlicher Anstieg der Benutzer aus einer bestimmten Region, vor allem aus einer Region, in der es unwahrscheinlich ist, dass dort viele Personen die Muttersprache der Website sprechen, kann ein Hinweis auf Bot-Traffic sein.

Wie kann Bot-Traffic Analytics beeinträchtigen?

Wie oben erwähnt, kann nicht autorisierter Bot-Traffic die Analytics-Metriken wie Seitenaufrufe, Bounce Rate, Sitzungsdauer, Geolocation von Benutzern und Konversionen beeinflussen. Diese Abweichungen in den Metriken können für den Betreiber der Website sehr frustrierend sein. Es ist sehr schwierig, die Performance einer Website zu messen, die unter Bot-Aktivitäten zu leiden hat. Auch Versuche zur Verbesserung der Website, wie z. B. A/B-Tests und Optimierung der Konversionsrate, werden durch statistische Störungen durch Bots beeinträchtigt.

So filtert man Bot-Traffic aus Google Analytics heraus

Google Analytics bietet eine Option zum „Ausschließen aller Treffer von bekannten Bots und Spidern“ (Spider sind Suchmaschinen-Bots, die Webseiten durchsuchen). Wenn die Quelle des Bot-Traffics identifiziert werden konnte, kann der Benutzer auch eine bestimmte Liste von IP-Adressen angeben, die von Google Analytics ignoriert werden sollen.

Auch wenn diese Maßnahmen einige Bots daran hindern, Analytics zu stören, werden sie wohl nicht alle Bots stoppen. Zudem verfolgen die meisten böswilligen Bots ein Ziel und stören nicht nur die Traffic-Analytics – und diese Maßnahmen tragen keineswegs dazu bei, schädliche Bot-Aktivitäten jenseits der Erhaltung von Analytics-Daten zu bekämpfen.

Wie kann Bot-Traffic die Performance beeinträchtigen?

Das Senden großer Mengen an Bot-Traffic ist eine sehr verbreitete Methode für Angreifer, um einen DDoS-Angriff auszulösen. Bei einigen Arten von DDoS-Angriffen wird so viel Angriffs-Traffic auf eine Website geleitet, dass der Ursprungsserver überlastet und die Website langsam oder für echte Benutzer überhaupt nicht mehr verfügbar wird.

Wie kann Bot-Traffic das Geschäft beeinträchtigen?

Einige Websites können durch böswilligen Bot-Traffic finanziell beeinträchtigt werden, selbst wenn ihre Performance davon nicht betroffen ist. Websites, die auf Werbung angewiesen sind, und Websites, die Waren mit begrenztem Bestand verkaufen, sind besonders anfällig.

Wenn Bots auf einer Website mit Anzeigen landen und auf verschiedene Elemente der Seite klicken, lösen sie unechte Anzeigenklicks aus. Dies wird als Klickbetrug bezeichnet. Vielleicht führt es zunächst sogar zu höheren Werbeeinnahmen, aber Online-Werbenetzwerke können solche Bot-Klicks sehr gut erkennen. Wenn sie den Verdacht haben, dass eine Website Klickbetrug begeht, werden sie etwas dagegen unternehmen. In der Regel werden die Website und ihr Eigentümer aus dem Netzwerk hinausgeworfen. Deshalb müssen Eigentümer von Websites, auf denen Anzeigen gehostet werden, immer auf Klickbetrug durch Bots achten.

Bei E-Commerce-Websites mit begrenztem Lagerbestand können Bots sogenanntes „Inventory Hoarding“ betreiben, also Warenbestände „hamstern“. Das bedeutet, dass diese Bots gewaltige Warenmengen in ihren elektronischen Warenkorb legen. Diese Waren sind für echte Käufer dann nicht mehr zum Kauf verfügbar. Manchmal führt es auch dazu, dass der Onlinehändler seinen Lagerbestand unnötigerweise auffüllt und dazu Ware beim Lieferanten oder Hersteller bestellt. Inventory-Hoarding-Bots kaufen selbst nie etwas. Sie dienen nur dazu, die Verfügbarkeit von Warenbeständen zu beeinträchtigen.

Wie können Websites mit Bot-Traffic umgehen?

Der erste Schritt dazu, Bot-Traffic auf einer Website zu stoppen oder in geordnete Bahnen zu lenken, ist die Einbeziehung einer Datei namens robots.txt. In dieser Datei hinterlässt man Anweisungen für das „Crawlen“ der Seite durch Bots. Man kann sie so konfigurieren, dass Bots eine Webseite nicht aufrufen oder mit ihr interagieren. Dabei muss man jedoch beachten, dass nur „gute“ Bots die in robots.txt aufgestellten Regeln einhalten. Böswillige Bots kann man damit nicht am Durchstöbern einer Website hindern.

Einige Tools können helfen, missbräuchlichen Bot-Traffic zu bekämpfen. Eine Rate-Limiting-Lösung kann den von einer einzigen IP-Adresse ausgehenden Bot-Traffic erkennen und verhindern, auch wenn dabei immer noch viel böswilliger Bot-Traffic übersehen wird. Zusätzlich zum Rate Limiting kann ein Netzwerktechniker den Datenverkehr einer Website untersuchen, verdächtige Netzwerkanfragen erkennen und eine Liste von IP-Adressen erstellen, die von einem Filtertool wie z. B. einer WAF blockiert werden sollen. Dies ist ein sehr arbeitsintensiver Vorgang und stoppt dennoch nur einen Teil des böswilligen Bot-Traffics.

Unabhängig vom Rate Limiting und von direkten Eingriffen eines Technikers ist eine Bot-Management-Lösung der einfachste und wirksamste Weg zur Abwehr von schädlichem Bot-Traffic. Eine Bot-Management-Lösung kann Intelligenz und Verhaltensanalysen einsetzen, um böswillige Bots zu stoppen, bevor sie überhaupt eine Website erreichen. So nutzt z. B. Cloudflare Bot Management die Intelligenz von über 13 Millionen Websites und Webapplikationen und setzt maschinelles Lernen ein, um Bot-Missbrauch proaktiv zu erkennen und zu stoppen.