Was ist Bot-Traffic? | So wird Bot-Traffic gestoppt

Bot-Traffic ist nicht-menschlicher Traffic zu einer Website. Auch wenn bestimmtes Bot-Traffic nützlich ist, kann missbräuchlicher Bot-Traffic sehr störend sein.

Share facebook icon linkedin icon twitter icon email icon

Bot-Traffic

Lernziele

Nach Lektüre dieses Artikels können Sie Folgendes:

  • Definition von Bot-Traffic.
  • Lernen Sie, wie Bot-Traffic erkannt wird.
  • Erläutern Sie die negativen Folgen von böswilligen Bots.
  • Erfahren Sie, wie Bot-Traffic gestoppt wird.

Was ist Bot-Traffic?

Bot-Traffic beschreibt jeden nicht-menschlichen Traffic zu einer Website oder einer App. Der Begriff Bot-Traffic wird oft negativ interpretiert, aber in Wirklichkeit ist Bot-Traffic nicht unbedingt gut oder schlecht; es hängt vom Zweck der Bots ab.

Einige Bots sind unerlässlich für nützliche Dienste wie Suchmaschinen und digitale Assistenten (z. B. Siri, Alexa). Die meisten Unternehmen begrüßen diese Art von Bots auf ihren Websites.

Andere Bots können böswillig sein, z. B. solche für Credential Stuffing, Data Scraping und das Starten von DDoS-Angriffen. Selbst einige der gutartigeren „schädlichen“ Bots, wie z. B. nicht autorisierte Webcrawler, können lästig sein, da sie die Websiteanalyse stören und Klickbetrug verursachen können.

Es wird angenommen, dass über 50 % des gesamten Internet-Traffics aus Bot-Traffic besteht, und ein beträchtlicher Teil davon sind böswillige Bots. Deshalb suchen so viele Unternehmen nach Möglichkeiten zur Verwaltung des Bot-Traffics, der auf ihre Websites gelangt.

Wie kann Bot-Traffic erkannt werden?

Webingenieure können Netzwerkanfragen an ihre Websites direkt einsehen und vermuteten Bot-Traffic aufspüren. Ein integriertes Webanalysetool wie Google Analytics oder Heap kann ebenfalls bei der Erkennung von Bot-Traffic helfen.

Die folgenden Anomalien bei Analysen sind die typischen Merkmale des Bot-Traffics:

  • Ungewöhnlich hohe Anzahl von Seitenabrufen: Wenn bei einer Website ein plötzlicher, beispielloser und unerwarteter Anstieg der Seitenabrufe auftritt, ist es wahrscheinlich, dass Bots sich durch die Website klicken.
  • Ungewöhnlich hohe Bounce Rate: Die Bounce Rate identifiziert die Anzahl der Benutzer, die auf eine einzelne Seite einer Website gelangen und dann die Website wieder verlassen, ohne auf etwas auf der Seite zu klicken. Ein unerwarteter Anstieg der Bounce Rate kann das Ergebnis davon sein, dass Bots auf eine einzelne Seite weitergeleitet werden.
  • Erstaunlich hohe oder niedrige Sitzungsdauer: Die Sitzungsdauer, oder die Verweildauer der Benutzer auf einer Website, sollte relativ stabil bleiben. Eine unerklärliche Erhöhung der Sitzungsdauer könnte ein Hinweis darauf sein, dass Bots die Website ungewöhnlich langsam durchsuchen. Umgekehrt könnte eine unerwartete Verkürzung der Sitzungsdauer das Ergebnis von Bots sein, die Seiten auf der Website viel schneller durchklicken als ein menschlicher Benutzer.
  • Junk-Konversionen: Eine Zunahme von vorgetäuschten Konversionen, wie z. B. Kontoerstellungen mithilfe von unsinnigen E-Mail-Adressen oder mit gefälschten Namen und Telefonnummern übermittelte Kontaktformulare, kann das Ergebnis von Bots oder Spam-Bots sein, die Formulare ausfüllen.
  • Zunahme im Traffic von einem unerwarteten Ort aus: Ein plötzlicher Anstieg der Benutzer aus einer bestimmten Region, vor allem aus einer Region, in der es unwahrscheinlich ist, dass es viele Personen gibt, welche die Muttersprache der Website fließend beherrschen, kann ein Hinweis auf Bot-Traffic sein.

Wie kann Bot-Traffic Analytics beeinträchtigen?

Wie oben erwähnt, kann nicht autorisierter Bot-Traffic die Analytics-Metriken wie Seitenaufrufe, Bounce Rate, Sitzungsdauer, Geolokalisierung von Benutzern und Konversionen beeinflussen. Diese Abweichungen in den Metriken können für den Betreiber der Website sehr frustrierend sein; es ist sehr schwierig, die Leistung einer Website zu messen, die mit Bot-Aktivitäten überschwemmt wird. Auch Versuche zur Verbesserung der Website, wie z. B. A/B-Tests und Optimierung der Konversionsrate, werden durch statistische Störungen durch Bots beeinträchtigt.

So filtert man Bot-Traffic aus Google Analytics heraus

Google Analytics bietet eine Option zum „Ausschließen aller Treffer von bekannten Bots und Spidern“ (Spider sind Suchmaschinen-Bots, die Webseiten durchsuchen). Wenn die Quelle des Bot-Traffics identifiziert werden konnte, kann der Benutzer auch eine bestimmte Liste von IP-Adressen angeben, die von Google Analytics ignoriert werden sollen.

Auch wenn diese Maßnahmen verhindern, dass einige Bots Analytics stören, werden sie wohl nicht alle Bots stoppen. Zudem verfolgen die meisten böswilligen Bots ein Ziel und stören nicht nur die Traffic-Analytics, und diese Maßnahmen tragen keineswegs dazu bei, schädliche Bot-Aktivitäten außerhalb der Erhaltung von Analytics-Daten zu mindern.

Wie kann Bot-Traffic die Performance beeinträchtigen?

Das Senden großer Mengen an Bot-Traffic ist eine sehr verbreitete Methode für Angreifer, um einen DDoS-Angriff auszulösen. Bei einigen Arten von DDoS-Angriffen wird so viel Angriffstraffic auf eine Website geleitet, dass der Ursprungsserver überlastet und die Website langsam oder für echte Benutzer überhaupt nicht mehr verfügbar wird.

Wie kann Bot-Traffic schlecht für das Geschäft sein?

Einige Websites können durch böswilligen Bot-Traffic finanziell beeinträchtigt werden, selbst wenn ihre Performance davon nicht betroffen ist. Websites, die auf Werbung angewiesen sind, und Websites, die Waren mit begrenztem Bestand verkaufen, sind besonders anfällig.

Für Websites, die Anzeigen schalten, können Bots, die auf der Website landen und auf verschiedene Elemente der Seite klicken, gefälschte Anzeigenklicks auslösen. Dies wird als Klickbetrug bezeichnet. Dies mag zunächst zu einem Anstieg der Werbeeinnahmen führen, doch Online-Werbenetzwerke können Bot-Klicks sehr gut erkennen. Wenn sie vermuten, dass auf einer Website Klickbetrug begangen wird, ergreifen sie Maßnahmen, meist in Form eines Verbots dieser Website und Verbannen des Eigentümers aus ihrem Netzwerk. Aus diesem Grund müssen Besitzer von Websites, die Anzeigen hosten, immer auf der Hut vor Bot-Klickbetrug sein.

Websites mit begrenztem Bestand können Ziel von Inventory Hoarding-Bots sein. Wie der Name schon sagt, besuchen diese Bots zu E-Commerce-Sites und legen haufenweise Waren in ihre Einkaufswagen, wodurch diese Waren für echte Käufer nicht erhältlich sind. In manchen Fällen kann dies auch zu einer unnötigen Aufstockung des Bestands von einem Lieferanten oder Hersteller führen. Die Inventory Hoarding-Bots kaufen nie etwas ein; sie sind einfach nur dazu bestimmt, die Verfügbarkeit des Bestands zu untergraben.

Wie können Websites Bot-Traffic verwalten?

Der erste Schritt zum Stoppen oder Verwalten des Bot-Traffics auf einer Website ist das Einbinden einer robots.txt-Datei. Diese Datei enthält Anweisungen für Bots, welche die Seite durchsuchen, und sie kann so konfiguriert werden, dass sie verhindert, dass Bots eine Webseite besuchen oder überhaupt mit ihr interagieren. Es sei jedoch darauf hingewiesen, dass nur gute Bots die Regeln in der Datei robots.txt einhalten; sie verhindert nicht, dass böswillige Bots eine Website durchsuchen.

Einige Tools können helfen, missbräuchlichen Bot-Traffic zu mindern. Eine Rate Limiting-Lösung kann den von einer einzigen IP-Adresse ausgehenden Bot-Traffic erkennen und verhindern, auch wenn dabei immer noch viel böswilliger Bot-Traffic übersehen wird. Zusätzlich zum Rate Limiting kann ein Netzwerkingenieur den Datenverkehr einer Website untersuchen und verdächtige Netzwerkanfragen erkennen und eine Liste von IP-Adressen erstellen, die von einem Filtertool, wie z. B. einer WAF, blockiert werden sollen. Dies ist ein sehr arbeitsintensiver Vorgang und stoppt dennoch nur einen Teil des böswilligen Bot-Traffics.

Unabhängig vom Rate Limiting und von direkten Eingriffen des Ingenieurs ist eine Bot-Management-Lösung der einfachste und wirksamste Weg zur Abwehr von schädlichem Bot-Traffic. Eine Bot-Management-Lösung kann Intelligenz und Verhaltensanalysen verwenden, um böswillige Bots zu stoppen, bevor sie überhaupt eine Website erreichen. So nutzt z. B. Cloudflare Bot-Management die Intelligenz von über 13 Millionen Internetwebsites und setzt maschinelles Lernen ein, um Bot-Missbrauch proaktiv zu erkennen und zu stoppen.