Was ist Bot-Management? | So funktionieren Bot-Managers

Was ist Bot-Management?

Unter Bot Management versteht man das Blockieren von unerwünschtem oder bösartigem Bot-Traffic im Internet, ohne dass dabei nützlichen Bots der Zugriff auf Websites verwehrt wird. Man erreicht dies, indem man die Aktivitäten der Bots aufspürt, zwischen gewünschtem und unerwünschtem Verhalten unterscheidet und die Quellen der missliebigen Aktivitäten ermittelt.

Bot-Management ist notwendig, da Bots massive Probleme für Websites verursachen können, wenn sie nicht kontrolliert werden. Zu viel Bot-Traffic kann eine große Belastung für Webserver darstellen, da der Dienst für legitime Benutzer dadurch verlangsamt wird oder ausfällt (manchmal geschieht dies in Form eines DDoS-Angriffs). Böswillige Bots können Inhalte von einer Website scrapen oder herunterladen, Anmeldedaten von Benutzern stehlen, Spam-Inhalte schnell verbreiten und verschiedene andere Arten von Cyberangriffen ausführen.

Was macht ein Bot-Manager?

Ein Bot-Manager ist ein Softwareprodukt, das Bots verwaltet. Bot-Manager sollten einige Bots blockieren und andere zulassen können, anstatt einfach den gesamten nicht-menschlichen Traffic zu blockieren. Wenn alle Bots blockiert werden und Google-Bots nicht in der Lage sind, eine Seite zu indexieren, kann diese Seite nicht in den Google-Suchergebnissen angezeigt werden, was zu einem stark verminderten organischen Traffic auf der Website führt.

Ein guter Bot-Manager erfüllt folgende Ziele. Er kann:

• Bots von menschlichen Besuchern unterscheiden
• Die Bot-Reputation identifizieren
• Die Ursprungs-IP-Adressen von Bots identifizieren und basierend auf der IP-Reputation blockieren
• Das Bot-Verhalten analysieren
• „Vertrauenswürdige“ Bots zu Positivlisten hinzufügen
• Potenzielle Bots mit einem CAPTCHA-Test, JavaScript-Injection oder anderen Methoden konfrontieren
• Eine Ratenbegrenzung bei potenziellen Bots durchführen, die einen Dienst übermäßig nutzen
• „Schädlichen“ Bots den Zugriff auf bestimmte Inhalte oder Ressourcen verweigern
• Alternative Inhalte für Bots bereitstellen

Was ist ein Bot?

Ein Bot ist ein Computerprogramm, das in einem Netzwerk läuft. Bots sind so programmiert, dass sie bestimmte Vorgänge automatisch ausführen. In der Regel sind die Aufgaben, die ein Bot ausführt, ziemlich einfach, aber ein Bot kann sie immer wieder und viel schneller als ein Mensch erledigen.

Google nutzt z. B. Bots, um Webseiten ständig zu durchsuchen und Inhalte für die Suche zu indexieren. Es würde sehr lange dauern, bis ein Team aus Menschen die im Internet verteilten Inhalte durchgesehen hat, aber die Bots von Google können den Suchindex von Google ziemlich aktuell halten.

Ein Beispiel dafür ist, dass Spammer E-Mail-Harvesting-Bots nutzen, um E-Mail-Adressen aus dem gesamten Internet zu sammeln. Die Bots durchsuchen Webseiten, suchen nach Texten im Format der E-Mail-Adresse (Text + @-Symbol + Domain), und speichern diesen Text in einer Datenbank. Selbstverständlich könnte auch ein Mensch Webseiten nach E-Mail-Adressen durchsuchen. Weil diese E-Mail-Harvesting-Bots jedoch automatisiert sind und nur nach Text suchen, der zu bestimmten Parametern passt, sind sie beim Auffinden von E-Mail-Adressen exponentiell schneller.

Anders als beim Zugriff eines menschlichen Benutzers auf das Internet greift ein Bot in der Regel nicht über einen herkömmlichen Webbrowser wie Google Chrome oder Mozilla Firefox auf das Internet zu. Statt eine Maus (oder ein Smartphone) zu bedienen und auf visuelle Inhalte in einem Browser zu klicken, sind Bots nur Softwareprogramme, die HTTP-Anfragen stellen (nebst anderen Aktivitäten), in der Regel mit einem sogenannten „Headless Browser“.

Was tun Bots?

Bots können im Prinzip jede wiederholte, nicht kreative Aufgabe ausführen – alles, was automatisiert werden kann. Sie können mit einer Webseite interagieren, Formulare ausfüllen und absenden, auf Links klicken, Text scannen (oder „crawlen“) und Inhalte herunterladen. Bots können auf Social Media Plattformen Videos „anschauen“, Kommentare posten und posten, liken oder retweeten. Einige Bots können sogar einfache Unterhaltungen mit menschlichen Benutzern führen – diese werden als Chatbots bezeichnet.

Was ist der Unterschied zwischen vertrauenswürdigen und schädlichen Bots?

Erstaunlicherweise gehen viele Quellen davon aus, dass etwa die Hälfte des gesamten Internet-Traffics Bot-Traffic ist. So wie einige Software, aber nicht alle, Malware ist, sind einige Bots böswillig, und einige sind „vertrauenswürdig“.

Alle Bots, die ein Online-Produkt oder einen Online-Dienst missbrauchen, können als „schädlich“ eingestuft werden. Schädliche Bots können von offensichtlich böswilligen Bots – wie Bots, die in Benutzerkonten einzudringen versuchen – bis hin zu leichteren Formen des Missbrauchs von Ressourcen reichen, z. B. Bots, die Tickets auf einer Eventwebsite aufkaufen.

Ein Bot, der einen benötigten oder hilfreichen Dienst erbringt, kann als „vertrauenswürdig“ eingestuft werden. Kundendienst-Chatbots, Suchmaschinen-Crawler und Leistungüberwachungs-Bots sind Beispiele vertrauenswürdiger Bots. Vertrauenswürdige Bots suchen und befolgen normalerweise die Regeln in der Datei robots.txt einer Website.

Was ist eine Datei robots.txt?

Robots.txt ist eine Datei auf einem Webserver, in der die Regeln für Bots beschrieben werden, die auf Websites auf diesem Server zugreifen. Die Datei selbst setzt diese Regeln allerdings nicht durch. Grundsätzlich sollte jeder, der einen Bot programmiert, den Ehrenkodex befolgen und sicherstellen, dass sein Bot die Datei robots.txt einer Website prüft, bevor er auf die Website zugreift. Böswillige Bots befolgen dieses System natürlich in der Regel nicht – daher ist ein Bot-Management-System erforderlich.

Wie funktioniert Bot-Management?

Bot-Manager können zur Identifizierung von Bots JavaScript-Challenges (die bestimmen, ob ein herkömmlicher Webbrowser verwendet wird oder nicht) oder Captcha-Challenges einsetzen. Sie können durch Verhaltensanalyse auch ermitteln, welche Benutzer Menschen und welche Bots sind. Dazu vergleichen sie das Verhalten eines Benutzers mit dem früheren Standardverhalten von Benutzern. Für Letzteres brauchen Bot-Manager eine große Sammlung von hochwertiger Verhaltensdaten, die sie prüfen können.

Wenn ein Bot als schädlich eingestuft wird, kann er auf eine andere Seite umgeleitet oder der Zugriff auf eine Webressource ganz blockiert werden.

Vertrauenswürdige Bots können zu einer Positivliste oder zu einer Liste mit erlaubten Bots hinzugefügt werden (das Gegenteil einer Blockierliste). Ein Bot-Manager kann auch durch zusätzliche Verhaltensanalysen zwischen vertrauenswürdigen und schädlichen Bots unterscheiden.

Ein weiterer Ansatz für das Bot-Management ist die Verwendung der Datei robots.txt zur Einrichtung eines Honeypots. Ein Honeypot ist ein vorgetäuschtes Ziel für „Bad Actors“, die den schlechten Akteur beim Zugriff als böswillig entlarven. Bei einem Bot kann ein Honeypot eine Seite auf der Website sein, die von der Datei robots.txt für Bots als verboten gekennzeichnet ist. Vertrauenswürdige Bots lesen die Datei robots.txt und vermeiden dann diese Webseite; einige schädliche Bots durchsuchen die Webseite. Durch Nachverfolgung der IP-Adresse der Bots, die auf den Honeypot zugreifen, können schädliche Bots identifiziert und blockiert werden.

Welche Arten von Bot-Angriffen bekämpft das Bot-Management?

Eine Bot-Management-Lösung kann eine Vielzahl von Angriffen stoppen:

• DDoS-Angriffe
• DoS-Angriffe
• Credential Stuffing
• Stuffing von Kreditkartendaten
• Brute-Force-Passwortentschlüsselung
• Spaminhalt
• Data Scraping/Web Scraping
• Harvesting von E-Mail-Adressen
• Werbebetrug
• Klickbetrug

Diese anderen Bot-Aktivitäten werden nicht immer als „böswillig“ eingestuft, aber ein Bot-Manager sollte sie trotzdem abwehren können:

• Inventory Hoarding
• Automatisiertes Posten in Foren oder auf Social-Media-Plattformen
• Shopping Cart Stuffing

Wie verwaltet Cloudflare Bots?

Cloudflare verfügt über die einzigartige Fähigkeit, Daten von Milliarden von Anfragen zu sammeln, die täglich durch sein Netzwerk fließen. Cloudflare kann mit diesen Daten wahrscheinliche Bot-Aktivitäten durch maschinelles Lernen und Verhaltensanalysen identifizieren und die notwendigen Daten liefern, um eine effektive Positivliste mit vertrauenswürdigen Bots oder eine Blockierliste mit schädlichen Bots zu erstellen. Cloudflare verfügt auch über eine umfangreiche IP-Reputationsdatenbank. Erfahren Sie mehr über das Cloudflare Bot-Management.

Der „Super Bot Fight“-Modus, der jetzt in den Cloudflare Pro- und Business-Tarifen verfügbar ist, soll kleineren Unternehmen helfen, sich gegen Bot-Angriffe zu verteidigen, und ihnen gleichzeitig mehr Einblick in ihren Bot-Traffic geben.