Was ist Bot-Traffic? | So wird Bot-Traffic gestoppt

Was ist Bot-Traffic?

Bot-Traffic beschreibt jeden nicht-menschlichen Traffic zu einer Website oder einer App. Der Begriff Bot-Traffic wird oft negativ interpretiert, aber in Wirklichkeit ist Bot-Traffic nicht unbedingt gut oder schlecht – es hängt alles vom Zweck der Bots ab.

Einige Bots sind für nützliche Dienste wie Suchmaschinen und digitale Assistenten (z. B. Siri, Alexa) unentbehrlich. Die meisten Unternehmen begrüßen diese Art von Bots auf ihren Websites.

Andere Bots können böswillig sein, z. B. Bots, die für Credential Stuffing, Data Scraping und DDoS-Angriffe eingesetzt werden. Selbst einige der gutartigeren „schädlichen“ Bots, wie z. B. nicht autorisierte Webcrawler, können lästig sein, da sie die Websiteanalyse stören und Klickbetrug verursachen können.

Es wird angenommen, dass über 40 % des gesamten Internet-Traffics aus Bot-Traffic besteht, und ein beträchtlicher Teil davon sind böswillige Bots. Deshalb suchen so viele Unternehmen nach Möglichkeiten, den Bot-Traffic auf ihren Websites in den Griff zu bekommen.

Woran kann man Bot-Traffic erkennen?

Webtechniker haben direkten Einblick in die Netzwerkanfragen an ihre Websites und können damit wahrscheinlichen Bot-Traffic identifizieren. Auch mit einem integrierten Webanalysetool wie Google Analytics oder Heap kann man Bot-Traffic erkennen.

Die folgenden Anomalien bei Analysen sind typische Merkmale des Bot-Traffics:

• Ungewöhnlich hohe Zahl von Seitenaufrufen: Wenn bei einer Website ein plötzlicher, beispielloser und unerwarteter Anstieg der Seitenaufrufe auftritt, ist es wahrscheinlich, dass sich Bots durch die Website klicken.
• Ungewöhnlich hohe Bounce Rate: Als Bounce Rate wird die Anzahl der Benutzer bezeichnet, die eine einzelne Seite eines Webauftritts aufrufen und dann die Website wieder verlassen, ohne auf der Seite etwas anzuklicken. Ein unerwarteter Anstieg der Bounce Rate kann dadurch bewirkt werden, dass Bots auf eine einzelne Seite gerichtet sind.
• Überraschend lange oder kurze Sitzungsdauer: Die Sitzungsdauer bzw. die Zeit, die Benutzer auf einer Website bleiben, sollte relativ stabil sein. Eine unerklärliche Erhöhung der Sitzungsdauer könnte ein Hinweis darauf sein, dass Bots die Website ungewöhnlich langsam durchsuchen. Umgekehrt könnte eine unerwartete Verkürzung der Sitzungsdauer dadurch bewirkt werden, dass Bots die Seiten auf der Website viel schneller durchklicken als ein menschlicher Benutzer.
• Junk-Konversionen: Zu einer Zunahme von vorgetäuschten Konversionen – z. B. Kontoerstellungen mit unsinnigen E-Mail-Adressen oder mit gefälschten Namen und Telefonnummern ausgefüllte Kontaktformulare – kann es kommen, wenn Formulare von Bots oder Spam-Bots ausgefüllt werden.
• Plötzlicher Traffic-Anstieg aus einem unerwarteten Gebiet: Ein plötzlicher Anstieg der Benutzer aus einer bestimmten Region, vor allem aus einer Region, in der es unwahrscheinlich ist, dass dort viele Personen die Muttersprache der Website sprechen, kann ein Hinweis auf Bot-Traffic sein.

Wie kann Bot-Traffic Analytics beeinträchtigen?

Wie oben erwähnt, kann nicht autorisierter Bot-Traffic die Analytics-Metriken wie Seitenaufrufe, Bounce Rate, Sitzungsdauer, Geolocation von Benutzern und Konversionen beeinflussen. Diese Abweichungen in den Metriken können für den Betreiber der Website sehr frustrierend sein. Es ist sehr schwierig, die Performance einer Website zu messen, die unter Bot-Aktivitäten zu leiden hat. Auch Versuche zur Verbesserung der Website, wie z. B. A/B-Tests und Optimierung der Konversionsrate, werden durch statistische Störungen durch Bots beeinträchtigt.

So filtert man Bot-Traffic aus Google Analytics heraus

Google Analytics bietet eine Option zum „Ausschließen aller Treffer von bekannten Bots und Spidern“ (Spider sind Suchmaschinen-Bots, die Webseiten durchsuchen). Wenn die Quelle des Bot-Traffics identifiziert werden konnte, kann der Benutzer auch eine bestimmte Liste von IP-Adressen angeben, die von Google Analytics ignoriert werden sollen.

Auch wenn diese Maßnahmen einige Bots daran hindern, Analytics zu stören, werden sie wohl nicht alle Bots stoppen. Zudem verfolgen die meisten böswilligen Bots ein Ziel und stören nicht nur die Traffic-Analytics – und diese Maßnahmen tragen keineswegs dazu bei, schädliche Bot-Aktivitäten jenseits der Erhaltung von Analytics-Daten zu bekämpfen.

Wie kann Bot-Traffic die Performance beeinträchtigen?

Das Senden großer Mengen an Bot-Traffic ist eine sehr verbreitete Methode für Angreifer, um einen DDoS-Angriff auszulösen. Bei einigen Arten von DDoS-Angriffen wird so viel Angriffs-Traffic auf eine Website geleitet, dass der Ursprungsserver überlastet und die Website langsam oder für echte Benutzer überhaupt nicht mehr verfügbar wird.

Wie kann Bot-Traffic das Geschäft beeinträchtigen?

Einige Websites können durch böswilligen Bot-Traffic finanziell beeinträchtigt werden, selbst wenn ihre Performance davon nicht betroffen ist. Websites, die auf Werbung angewiesen sind, und Websites, die Waren mit begrenztem Bestand verkaufen, sind besonders anfällig.

Für Websites, die Anzeigen schalten, können Bots, die auf der Website landen und auf verschiedene Elemente der Seite klicken, gefälschte Anzeigenklicks auslösen. Dies wird als Klickbetrug bezeichnet. Dies mag zunächst zu einem Anstieg der Werbeeinnahmen führen, doch Online-Werbenetzwerke können Bot-Klicks sehr gut erkennen. Wenn sie vermuten, dass auf einer Website Klickbetrug begangen wird, ergreifen sie Maßnahmen, meist in Form eines Verbots dieser Website und Verbannen des Eigentümers aus ihrem Netzwerk. Aus diesem Grund müssen Besitzer von Websites, die Anzeigen hosten, immer auf der Hut vor Bot-Klickbetrug sein.

Websites mit begrenztem Bestand können Ziel von Inventory Hoarding-Bots sein. Wie der Name schon sagt, besuchen diese Bots zu E-Commerce-Sites und legen haufenweise Waren in ihre Einkaufswagen, wodurch diese Waren für echte Käufer nicht erhältlich sind. In manchen Fällen kann dies auch zu einer unnötigen Aufstockung des Bestands von einem Lieferanten oder Hersteller führen. Die Inventory Hoarding-Bots kaufen nie etwas ein; sie sind einfach nur dazu bestimmt, die Verfügbarkeit des Bestands zu untergraben.

Wie können Websites mit Bot-Traffic umgehen?

Der erste Schritt zum Stoppen oder Verwalten des Bot-Traffics auf einer Website ist das Einbinden einer robots.txt-Datei. Diese Datei enthält Anweisungen für Bots, welche die Seite durchsuchen, und sie kann so konfiguriert werden, dass sie verhindert, dass Bots eine Webseite besuchen oder überhaupt mit ihr interagieren. Es sei jedoch darauf hingewiesen, dass nur gute Bots die Regeln in der Datei robots.txt einhalten; sie verhindert nicht, dass böswillige Bots eine Website durchsuchen.

Einige Tools können helfen, missbräuchlichen Bot-Traffic zu bekämpfen. Eine Durchsatzbegrenzungs-Lösung kann den von einer einzigen IP-Adresse ausgehenden Bot-Traffic erkennen und verhindern, auch wenn dabei immer noch viel böswilliger Bot-Traffic übersehen wird. Zusätzlich zur Durchsatzbegrenzung kann ein Netzwerktechniker den Traffic einer Website untersuchen, verdächtige Netzwerkanfragen erkennen und eine Liste von IP-Adressen erstellen, die von einem Filtertool wie z. B. einer WAF blockiert werden sollen. Dies ist ein sehr arbeitsintensiver Vorgang und stoppt dennoch nur einen Teil des böswilligen Bot-Traffics.

Unabhängig von dem Rate Limiting und von direkten Eingriffen eines Technikers ist eine Bot-Management-Lösung der einfachste und wirksamste Weg zur Abwehr von schädlichem Bot-Traffic. Eine Bot-Management-Lösung kann Intelligenz und Verhaltensanalysen einsetzen, um böswillige Bots anzuhalten, bevor sie überhaupt eine Website erreichen. So nutzt z. B. Cloudflare Bot Management die Intelligenz von über 13 Millionen Internetwebsites und Webapplikationen und setzt maschinelles Lernen ein, um Bot-Missbrauch proaktiv zu erkennen und anzuhalten. Der Super Bot Fight Mode, der in den Tarifen Pro und Business verfügbar ist, bietet kleineren Unternehmen eine ähnliche Transparenz und Kontrolle über ihren Bot-Traffic.