Was ist Bot-Management? | So funktionieren Bot-Managers

Beim Bot-Management werden einige Bots von einer Website oder Anwendung identifiziert und blockiert, während gleichzeitig der Zugriff auf andere Bots erlaubt ist.

Share facebook icon linkedin icon twitter icon email icon

Bot-Management

Lernziele

Nach Lektüre dieses Artikels können Sie Folgendes:

  • Was tun Bots und warum sie verwaltet werden müssen
  • Erfahren Sie, was Bot-Manager-Produkte tun
  • Erfahren Sie, warum einige Bots erlaubt sein sollten und andere blockiert werden sollten

Was ist Bot-Management?

Unter Bot-Management versteht man das Blockieren von unerwünschtem oder böswilligem Internet-Bot-Traffic, während nützliche Bots weiterhin auf Websites zugreifen können. Das Bot-Management erfüllt dies, indem es die Bot-Aktivität erkennt, zwischen gewünschten und unerwünschten Bot-Verhalten unterscheidet und die Ursachen für die unerwünschte Aktivität identifiziert.

Bot-Management ist notwendig, da Bots massive Probleme für Websites verursachen können, wenn sie nicht kontrolliert werden. Zu viel Bot-Traffic kann eine große Belastung für Webserver darstellen, da der Dienst für legitime Benutzer dadurch verlangsamt wird oder ausfällt (manchmal geschieht dies in Form eines DDoS-Angriffs). Böswillige Bots können Inhalte von einer Website scrapen oder herunterladen, Anmeldeinformationen von Benutzern stehlen, Spam-Inhalte schnell verbreiten und verschiedene andere Arten von Cyberangriffen ausführen.

Was macht ein Bot-Manager?

Ein Bot-Manager ist ein Softwareprodukt, das Bots verwaltet. Bot-Manager sollten einige Bots blockieren und andere zulassen können, anstatt einfach den gesamten nicht-menschlichen Traffic zu blockieren. Wenn alle Bots blockiert sind und Google-Bots nicht in der Lage sind, eine Seite zu indexieren, kann diese Seite nicht in den Google-Suchergebnissen angezeigt werden, was zu einem stark verminderten organischen Traffic auf der Website führt.

Ein guter Bot-Manager erfüllt folgende Ziele. Er kann:

  • Bots vs. menschliche Besucher identifizieren
  • Die Bot-Reputation identifizieren
  • Die Ursprungs-IP-Adressen von Bots identifizieren und basierend auf der IP-Reputation blockieren
  • Das Bot-Verhalten analysieren
  • „Vertrauenswürdige“ Bots zu Whitelists hinzufügen
  • Potenzielle Bots mit einem Captcha-Test, JavaScript-Injection oder anderen Methoden konfrontieren
  • Eine Ratenbegrenzung bei potenziellen Bots durchführen, die einen Dienst übermäßig nutzen
  • „Schädlichen“ Bots den Zugriff auf bestimmte Inhalte oder Ressourcen verweigern
  • Alternative Inhalte für Bots bereitstellen

Was ist ein Bot?

Ein Bot ist ein Computerprogramm, das in einem Netzwerk läuft. Bots sind so programmiert, dass sie bestimmte Vorgänge automatisch ausführen. In der Regel sind die Aufgaben, die ein Bot ausführt, ziemlich einfach, aber ein Bot kann sie immer wieder und viel schneller als ein Mensch erledigen.

Google nutzt z. B. Bots, um Webseiten ständig zu durchsuchen und Inhalte für die Suche zu indexieren. Es würde sehr lange dauern, bis ein Team aus Menschen die im Internet verteilten Inhalte durchgesehen hat, aber die Bots von Google können den Suchindex von Google ziemlich aktuell halten.

Ein Beispiel ist, wenn Spammer E-Mail-Harvesting-Bots nutzen, um E-Mail-Adressen aus dem gesamten Internet zu sammeln. Die Bots durchsuchen Webseiten, suchen nach Texten im Format der E-Mail-Adresse (Text + @-Symbol + Domäne), und speichern diesen Text in einer Datenbank. Selbstverständlich könnte auch ein Mensch Webseiten nach E-Mail-Adressen durchsuchen. Weil diese E-Mail-Harvesting-Bots jedoch automatisiert sind und nur nach Text suchen, der zu bestimmten Parametern passt, sind sie beim Auffinden von E-Mail-Adressen exponentiell schneller.

Anders als beim Zugriff eines menschlichen Benutzers auf das Internet greift ein Bot in der Regel nicht über einen herkömmlichen Webbrowser wie Google Chrome oder Mozilla Firefox auf das Internet zu. Statt eine Maus (oder ein Smartphone) zu bedienen und auf visuelle Inhalte in einem Browser zu klicken, sind Bots nur Softwareprogramme, die HTTP-Anfragen stellen (nebst anderen Handlungen), in der Regel mit einem sogenannten „Headless Browser“.

Was tun Bots?

Bots können im Prinzip jede wiederholte, nicht kreative Aufgabe ausführen – alles, was automatisiert werden kann. Sie können mit einer Webseite interagieren, Formulare ausfüllen und absenden, auf Links klicken, Text scannen (oder „crawlen“) und Inhalte herunterladen. Bots können auf Social Media Plattformen Videos „anschauen“, Kommentare posten und posten, liken oder retweeten. Einige Bots können sogar einfache Unterhaltungen mit menschlichen Benutzern führen – diese werden als Chatbots bezeichnet.

Was ist der Unterschied zwischen vertrauenswürdigen und schädlichen Bots?

Erstaunlicherweise gehen viele Quellen davon aus, dass etwa die Hälfte des gesamten Internet-Traffics Bot-Traffic ist. So wie einige Software, aber nicht alle, Malware ist, sind einige Bots böswillig, und einige sind „vertrauenswürdig“.

Alle Bots, die ein Online-Produkt oder einen Online-Dienst missbrauchen, können als „schädlich“ eingestuft werden. Schädliche Bots können von offensichtlich böswilligen Bots – wie Bots, die in Benutzerkonten einzudringen versuchen – bis hin zu leichteren Formen des Missbrauchs von Ressourcen reichen, wie z. B. Bots, die Tickets auf einer Eventwebsite kaufen.

Ein Bot, der einen benötigten oder hilfreichen Dienst erbringt, kann als „vertrauenswürdig“ eingestuft werden. Kundendienst-Chatbots, Suchmaschinen-Crawler und Performance-Überwachungs-Bots sind Beispiele vertrauenswürdiger Bots. Vertrauenswürdige Bots suchen und befolgen normalerweise die Regeln in der robots.txt-Datei einer Website.

Was ist eine robots.txt-Datei?

Robots.txt ist eine Datei auf einem Webserver, in der die Regeln für Bots beschrieben werden, die auf Websites auf diesem Server zugreifen. Die Datei selbst setzt diese Regeln allerdings nicht durch. Grundsätzlich sollte jeder, der einen Bot programmiert, den Ehrenkodex befolgen und sicherstellen, dass sein Bot die robots.txt-Datei einer Website prüft, bevor er auf die Website zugreift. Böswillige Bots befolgen dieses System natürlich in der Regel nicht – daher ist ein Bot-Management-System erforderlich.

Wie funktioniert Bot-Management?

Bot-Manager können zur Identifizierung von Bots JavaScript-Challenges (die bestimmen, ob ein herkömmlicher Webbrowser verwendet wird oder nicht) oder Captcha-Challenges einsetzen. Sie können durch Verhaltensanalyse auch ermitteln, welche Benutzer Menschen sind und welche Bots – das heißt, indem sie das Verhalten eines Benutzers mit dem früheren Standardverhalten von Benutzern vergleichen. Bot-Manager müssen über eine große Sammlung von hochwertiger Verhaltensdaten verfügen, die sie prüfen können, um Letzteres zu bewerkstelligen.

Wenn ein Bot als schädlich eingestuft wird, kann er auf eine andere Seite umgeleitet oder der Zugriff auf eine Webressource ganz blockiert werden.

Vertrauenswürdige Bots können zu einer Whitelist oder zu einer Liste mit erlaubten Bots hinzugefügt werden (das Gegenteil einer Blacklist). Ein Bot-Manager kann auch durch zusätzliche Verhaltensanalysen zwischen vertrauenswürdigen und schädlichen Bots unterscheiden.

Ein weiterer Ansatz für das Bot-Management ist die Verwendung der Datei robots.txt zur Einrichtung eines Honeypots. Ein Honeypot ist ein vorgetäuschtes Ziel für „Bad Actors“, die den schlechten Akteur beim Zugriff als böswillig entlarven. Bei einem Bot kann ein Honeypot eine Seite auf der Website sein, die von der robots.txt-Datei für Bots als verboten vermerkt ist. Vertrauenswürdige Bots lesen die robots.txt-Datei und vermeiden dann diese Webseite; einige schädliche Bots durchsuchen die Webseite. Durch Nachverfolgung der IP-Adresse der Bots, die auf den Honeypot zugreifen, können schädliche Bots identifiziert und blockiert werden.

Welche Arten von Bot-Angriffen bekämpft das Bot-Management?

Eine Bot-Management-Lösung kann eine Vielzahl von Angriffen stoppen:

Diese anderen Bot-Aktivitäten werden nicht immer als „böswillig“ eingestuft, aber ein Bot-Manager sollte sie trotzdem abwehren können:

  • Inventory Hoarding
  • Automatisiertes Posten in Foren oder auf Social-Media-Plattformen
  • Shopping Cart Stuffing

Wie verwaltet Cloudflare Bots?

Cloudflare verfügt über die einzigartige Fähigkeit, Daten von Milliarden von Anfragen zu sammeln, die täglich durch sein Netzwerk fließen. Cloudflare kann mit diesen Daten wahrscheinliche Bot-Aktivitäten durch maschinelles Lernen und Verhaltensanalysen identifizieren und die notwendigen Daten liefern, um eine effektive Whitelist mit vertrauenswürdigen Bots oder eine Blacklist mit schädlichen Bots zu erstellen. Cloudflare verfügt auch über eine umfangreiche IP-Reputationsdatenbank. Weitere Informationen zum Cloudflare Bot-Management.