Qu’est ce que le trafic bot ? | Comment arrêter le trafic bot

Qu’est ce que le trafic de bots ?

Le trafic bot décrit tout trafic non humain vers un site web ou une application. Le terme trafic de bots a souvent une connotation négative, mais en réalité le trafic de bots n’est pas nécessairement bon ou mauvais ; cela dépend entièrement de l’objectif des bots.

Certains bots sont essentiels pour des services utiles tels que les moteurs de recherche et les assistants numériques (par exemple Siri, Alexa). La plupart des entreprises accueillent ces types de robots sur leurs sites.

D'autres bots peuvent être malveillants, par exemple les bots utilisés pour le credential stuffing, le scraping de données et le lancement d'attaques DDoS. Même les « mauvais » bots les plus bénins, comme des robots d'indexation non autorisés, peuvent constituer une nuisance, parce qu’ils peuvent perturber les analytiques de site et générer une fraude au clic.

D'après une estimation, plus de 40 % de tout le trafic Internet est composé de trafic de bots, et une partie importante de ce trafic est constituée de bots malveillants. Cela explique pourquoi tant d'organisations cherchent des moyens de gérer le trafic de bots qui agissent sur leurs sites.

Comment identifier le trafic de bots ?

Les ingénieurs web peuvent examiner directement les requêtes réseau vers leurs sites et identifier le trafic probable de bots. Un outil d'analytique web intégré, tel que Google Analytics ou Heap, peut également aider à détecter le trafic de bots.

Les anomalies suivantes révélés par les analytiques sont caractéristiques du trafic de bots :

• Vues de page anormalement élevées : si un site connaît un pic soudain, sans précédent et inattendu des vues de page, il est probable que des bots cliquent sur le site.
• Taux de rebond anormalement élevé : le taux de rebond correspond au nombre d'utilisateurs qui consultent une page d'un site et qui la quittent avant d'avoir cliqué sur un élément de la page. Une augmentation inattendue du taux de rebond peut être le résultat de bots dirigés vers une simple page.
• Sessions à la durée anormalement longue ou courte : la durée des sessions, autrement dit le temps que les utilisateurs passent sur un site web, doit demeurer relativement stable. Une augmentation inexpliquée de la durée de session peut indiquer que des bots naviguent sur le site à une vitesse inhabituellement basse. À l’inverse, une diminution inattendue de la durée de la session peut être le résultat de bots cliquant sur les pages du site beaucoup plus rapidement qu’un utilisateur humain.
• Conversions indésirables : une augmentation des conversions « fantômes », telles que les créations de compte utilisant des adresses e-mail qui ressemblent à du charabia ou des formulaires de contact soumis avec de faux noms et numéros de téléphone, peuvent provenir de bots de remplissage de formulaires ou de bots de spam.
• Pic de trafic provenant d'un emplacement inattendu : un pic soudain d'utilisateurs d'une région particulière, en particulier d'une région qui ne compte vraisemblablement pas un grand nombre de personnes parlant couramment la langue maternelle du site, peut être une indication d'un trafic de bots.

Comment le trafic de bots peut-il affecter les analytiques ?

Comme mentionné précédemment, le trafic bot non autorisé peut influencer les métriques d'analytique telles que le nombre de consultations, le taux de rebond, la durée de session, la géolocalisation des utilisateurs et les conversions. Ces écarts dans les métriques peuvent créer une importante frustration chez le propriétaire du site . il est extrêmement difficile de mesurer la performance d’un site « inondé » par l'activité de bots. Les tentatives d’amélioration du site, telles que les tests A/B et l’optimisation du taux de conversion, sont également paralysées par le bruit statistique créé par les bots.

Comment filtrer le trafic de bots à partir de Google Analytics

Google Analytics offre l’option « d’exclure tous les recherches issues des bots et araignées connus » ( les araignées sont des bots de moteurs de recherche qui parcourent les pages Web). Si la source de trafic bot peut être identifiée, les utilisateurs peuvent également fournir une liste d’adresses IP spécifiques qui seront ignorées par Google Analytics.

Bien que ces mesures empêchent certains bots de perturber les analytiques, elles n'arrêteront pas tous les bots. En outre, la plupart des bots malveillants poursuivent un objectif autre que de perturber les analytiques du trafic, et ces mesures ne font rien pour atténuer l'activité nuisible des bots à part préserver des données d'analytiques.

Comment le trafic de bots peut-il nuire aux performances ?

L’envoi massif de trafic de bots est une méthode fréquemment utilisée par les attaquants pour lancer une attaque DDoS. Lors de certains types d’attaques DDoS, une telle quantité de trafic d'attaque est dirigée vers un site web que le serveur d'origine est surchargé et que le site est ralenti voire totalement indisponible pour les utilisateurs légitimes.

Comment le trafic de bots peut-il être néfaste pour les entreprises ?

Certains sites web peuvent être financièrement paralysés par le trafic de bots malveillants, même si leurs performances ne sont pas affectées. Les sites qui dépendent de la publicité et les sites qui vendent des marchandises avec un stock limité sont particulièrement vulnérables.

Pour les sites qui diffusent des publicités, les bots qui arrivent sur le site et cliquent sur divers éléments de la page peuvent déclencher de faux clics d’annonce : c’est ce que l’on appelle la fraude au clic. Cela peut provoquer initialement une augmentation des revenus d’annonces, mais les réseaux de publicité en ligne savent parfaitement détecter les clics de bots. S’ils suspectent qu’un site Web commet une fraude au clic, ils prendront des mesures, généralement en bannissant ce site et ses propriétaire de leur réseau. Ainsi, les propriétaires de sites hébergeant des annonces sont très prudents à l’égard de la fraude au clic par les bots.

Les sites dont les stocks sont limités peuvent être ciblés par les bots d’accumulation de stocks. Comme le suggère leur nom, ces bots se rendent sur les sites de eCommerce et placent de très grandes quantités de marchandise dans leur panier, les produits sont alors indisponibles pour les acheteurs légitimes. Dans certains cas, ces actions peuvent également déclencher un réapprovisionnement inutile du stock auprès du fournisseur ou du fabricant. Les bots d’accumulation de stocks ne font jamais d’achat, ils sont simplement conçus pour perturber la disponibilité du stock.

Comment les sites web peuvent-ils gérer le trafic des bots ?

La première étapes pour arrêter ou gérer le trafic bot vers un site Web est d’inclure un fichier robots.txt. Il s’agit d’un fichier qui fournit des instructions pour que les bots qui parcourent la page, et il peut être configuré pour empêcher les bots de consulter ou d’interagir complètement avec la page. Il est cependant à noter que seuls les bons bots obéissent aux règles d’un fichier robots.txt ; il ne peut pas empêcher les bots malveillants de parcourir le site Web.

Un certain nombre d’outils peuvent aider à atténuer le trafic bot abusif. Une solution de limitation du taux peut détecter et empêcher le trafic bot originaire d’une seule adresse IP bien qu’une grande partie du trafic bot malveillant sera négligée. En plus de la limitation du taux, un ingénieur réseau peut examiner le trafic d’un site et identifier les requêtes réseau suspectes, pour fournir une liste d’adresses IP à bloquer par un outil de filtre tel qu’un WAF. Il s’agit d’un processus très fastidieux qui n’arrête qu’une partie du trafic bot malveillant.

À part la limitation du taux et les interventions directes d’un ingénieur, la façon la plus efficace et la plus facile d’arrêter le trafic des mauvais bots est d’utiliser une solution de gestion des bots. Une solution de gestion des bots peut tirer parti de l’intelligence et utiliser l’analyse comportementale pour arrêter les bots malveillants avant qu’ils n’atteignent votre site Web. Par exemple, la Gestion des robots malveillants par Cloudflare utilise les renseignements de millions de propriétés Internet et applique l'apprentissage automatique pour identifier et arrêter les bots abusifs de façon proactive. Le mode Super Bot Fight, disponible dans les offres Pro et Business garantit aux petites organisations une visibilité et un contrôle similaires sur leur trafic de robots.