What is bot traffic? | How to stop bot traffic

Bot-Traffic ist nicht-menschlicher Traffic zu einer Website. Auch wenn bestimmtes Bot-Traffic nützlich ist, kann missbräuchlicher Bot-Traffic sehr störend sein.

Lernziele

Nach Lektüre dieses Artikels können Sie Folgendes:

  • Definition von Bot-Traffic.
  • Lernen Sie, wie Bot-Traffic erkannt wird.
  • Erläutern Sie die negativen Folgen von böswilligen Bots.
  • Erfahren Sie, wie Bot-Traffic gestoppt wird.

Link zum Artikel kopieren

Was ist Bot-Traffic?

Bot-Traffic beschreibt jeden nicht-menschlichen Traffic zu einer Website oder einer App. Der Begriff Bot-Traffic wird oft negativ interpretiert, aber in Wirklichkeit ist Bot-Traffic nicht unbedingt gut oder schlecht – es hängt alles vom Zweck der Bots ab.

Einige Bots sind für nützliche Dienste wie Suchmaschinen und digitale Assistenten (z. B. Siri, Alexa) unentbehrlich. Die meisten Unternehmen begrüßen diese Art von Bots auf ihren Websites.

Andere Bots können böswillig sein, z. B. Bots, die für Credential Stuffing, Data Scraping und DDoS-Angriffe eingesetzt werden. Selbst einige der gutartigeren „schädlichen“ Bots, wie z. B. nicht autorisierte Webcrawler, können lästig sein, da sie die Websiteanalyse stören und Klickbetrug verursachen können.

Es wird angenommen, dass über 40 % des gesamten Internet-Traffics aus Bot-Traffic besteht, und ein beträchtlicher Teil davon sind böswillige Bots. Deshalb suchen so viele Unternehmen nach Möglichkeiten, den Bot-Traffic auf ihren Websites in den Griff zu bekommen.

Woran kann man Bot-Traffic erkennen?

Webtechniker haben direkten Einblick in die Netzwerkanfragen an ihre Websites und können damit wahrscheinlichen Bot-Traffic identifizieren. Auch mit einem integrierten Webanalysetool wie Google Analytics oder Heap kann man Bot-Traffic erkennen.

Die folgenden Anomalien bei Analysen sind typische Merkmale des Bot-Traffics:

  • Ungewöhnlich hohe Zahl von Seitenaufrufen: Wenn bei einer Website ein plötzlicher, beispielloser und unerwarteter Anstieg der Seitenaufrufe auftritt, ist es wahrscheinlich, dass sich Bots durch die Website klicken.
  • Ungewöhnlich hohe Bounce Rate: Als Bounce Rate wird die Anzahl der Benutzer bezeichnet, die eine einzelne Seite eines Webauftritts aufrufen und dann die Website wieder verlassen, ohne auf der Seite etwas anzuklicken. Ein unerwarteter Anstieg der Bounce Rate kann dadurch bewirkt werden, dass Bots auf eine einzelne Seite gerichtet sind.
  • Überraschend lange oder kurze Sitzungsdauer: Die Sitzungsdauer bzw. die Zeit, die Benutzer auf einer Website bleiben, sollte relativ stabil sein. Eine unerklärliche Erhöhung der Sitzungsdauer könnte ein Hinweis darauf sein, dass Bots die Website ungewöhnlich langsam durchsuchen. Umgekehrt könnte eine unerwartete Verkürzung der Sitzungsdauer dadurch bewirkt werden, dass Bots die Seiten auf der Website viel schneller durchklicken als ein menschlicher Benutzer.
  • Junk-Konversionen: Zu einer Zunahme von vorgetäuschten Konversionen – z. B. Kontoerstellungen mit unsinnigen E-Mail-Adressen oder mit gefälschten Namen und Telefonnummern ausgefüllte Kontaktformulare – kann es kommen, wenn Formulare von Bots oder Spam-Bots ausgefüllt werden.
  • Plötzlicher Traffic-Anstieg aus einem unerwarteten Gebiet: Ein plötzlicher Anstieg der Benutzer aus einer bestimmten Region, vor allem aus einer Region, in der es unwahrscheinlich ist, dass dort viele Personen die Muttersprache der Website sprechen, kann ein Hinweis auf Bot-Traffic sein.

Wie kann Bot-Traffic Analytics beeinträchtigen?

Wie oben erwähnt, kann nicht autorisierter Bot-Traffic die Analytics-Metriken wie Seitenaufrufe, Bounce Rate, Sitzungsdauer, Geolocation von Benutzern und Konversionen beeinflussen. Diese Abweichungen in den Metriken können für den Betreiber der Website sehr frustrierend sein. Es ist sehr schwierig, die Performance einer Website zu messen, die unter Bot-Aktivitäten zu leiden hat. Auch Versuche zur Verbesserung der Website, wie z. B. A/B-Tests und Optimierung der Konversionsrate, werden durch statistische Störungen durch Bots beeinträchtigt.

So filtert man Bot-Traffic aus Google Analytics heraus

Google Analytics does provide an option to “exclude all hits from known bots and spiders” (spiders are search engine bots that crawl webpages). If the source of the bot traffic can be identified, users can also provide a specific list of IPs to be ignored by Google Analytics.

Auch wenn diese Maßnahmen einige Bots daran hindern, Analytics zu stören, werden sie wohl nicht alle Bots stoppen. Zudem verfolgen die meisten böswilligen Bots ein Ziel und stören nicht nur die Traffic-Analytics – und diese Maßnahmen tragen keineswegs dazu bei, schädliche Bot-Aktivitäten jenseits der Erhaltung von Analytics-Daten zu bekämpfen.

Wie kann Bot-Traffic die Performance beeinträchtigen?

Das Senden großer Mengen an Bot-Traffic ist eine sehr verbreitete Methode für Angreifer, um einen DDoS-Angriff auszulösen. Bei einigen Arten von DDoS-Angriffen wird so viel Angriffs-Traffic auf eine Website geleitet, dass der Ursprungsserver überlastet und die Website langsam oder für echte Benutzer überhaupt nicht mehr verfügbar wird.

Wie kann Bot-Traffic das Geschäft beeinträchtigen?

Einige Websites können durch böswilligen Bot-Traffic finanziell beeinträchtigt werden, selbst wenn ihre Performance davon nicht betroffen ist. Websites, die auf Werbung angewiesen sind, und Websites, die Waren mit begrenztem Bestand verkaufen, sind besonders anfällig.

For sites that serve ads, bots that land on the site and click on various elements of the page can trigger fake ad clicks; this is known as click fraud. While this may initially result in a boost in ad revenue, online advertising networks are very good at detecting bot clicks. If they suspect a website is committing click fraud, they will take action, usually in the form of banning that site and its owner from their network. For this reason, owners of sites that host ads need to be ever-wary of bot click fraud.

Sites with limited inventory can be targeted by inventory hoarding bots. As the name suggests, these bots go to e-commerce sites and dump tons of merchandise into their shopping carts, making that merchandise unavailable for purchase by legitimate shoppers. In some cases this can also trigger unnecessary restocking of inventory from a supplier or manufacturer. The inventory hoarding bots never make a purchase; they are simply designed to disrupt the availability of inventory.

Wie können Websites mit Bot-Traffic umgehen?

The first step to stopping or managing bot traffic to a website is to include a robots.txt file. This is a file that provides instructions for bots crawling the page, and it can be configured to prevent bots from visiting or interacting with a webpage altogether. But it should be noted that only good bots will abide by the rules in robots.txt; it will not prevent malicious bots from crawling a website.

A number of tools can help mitigate abusive bot traffic. A rate limiting solution can detect and prevent bot traffic originating from a single IP address, although this will still overlook a lot of malicious bot traffic. On top of rate limiting, a network engineer can look at a site’s traffic and identify suspicious network requests, providing a list of IP addresses to be blocked by a filtering tool such as a WAF. This is a very labor-intensive process and still only stops a portion of the malicious bot traffic.

Separate from rate limiting and direct engineer intervention, the easiest and most effective way to stop bad bot traffic is with a bot management solution. A bot management solution can leverage intelligence and use behavioral analysis to stop malicious bots before they ever reach a website. For example, Cloudflare Bot Management uses intelligence from over 25,000,000 Internet properties and applies machine learning to proactively identify and stop bot abuse. Super Bot Fight Mode, available on Pro and Business plans, offers smaller organizations similar visibility and control over their bot traffic.