Cos'è il traffico bot? | Come bloccare il traffico bot

Cosa è il traffico bot?

Per "traffico bot" si intende qualsiasi tipo di traffico non umano verso un sito Web o un'applicazione. Questa definizione spesso racchiude una connotazione negativa, ma in realtà questo tipo di traffico non è necessariamente benigno o malevolo, in quanto tutto dipende dalla finalità dei bot coinvolti.

Alcuni bot sono essenziali per il funzionamento di servizi utili, come i motori di ricerca e gli assistenti digitali (ad es. Siri, Alexa), e la maggior parte delle aziende accoglie senza problemi questi bot sui propri siti.

Altri bot possono essere dannosi, come ad esempio quelli utilizzati per finalità di credential stuffing, scraping di dati e per lanciare attacchi DDoS. Anche i bot più "cattivi" più benigni, come i crawler non autorizzati, possono costituire un problema, in quanto possono interrompere le analisi del sito e perpetrare frodi con i clic.

Si ritiene che oltre il 40% del traffico Internet sia costituito da traffico bot, e che una parte non trascurabile di questo traffico sia di natura dannosa. È per questo che così tante organizzazioni sono alla ricerca di modi per gestire il traffico bot che giunge sui loro siti.

Come è possibile identificare il traffico bot?

I web engineer possono esaminare direttamente le richieste di rete dirette verso i loro siti e identificare così il probabile traffico bot. Anche un tool di analisi integrato, come Google Analytics o Heap, può contribuire a individuarlo.

Le seguenti anomalie analitiche sono i tratti distintivi del traffico bot:

• Volume abnorme di visualizzazioni delle pagine: se in un sito si verifica un picco di visite inatteso e senza precedenti, molto probabilmente ci sono dei bot che stanno cliccando sul sito.
• Bounce rate eccessivamente elevato: il bounce rate indica il numero di utenti che accedono a una singola pagina di un sito, e che la abbandonano prima di cliccare un elemento della stessa. Un incremento inatteso del bounce rate può essere dovuto a una serie di bot indirizzati verso una singola pagina.
• Durata delle sessioni sorprendentemente breve o lunga: la durata della sessione, ovvero il tempo che un utente passa in un sito Web, dovrebbe rimanere relativamente stabile. Un aumento inspiegabile della sua durata potrebbe indicare la presenza di bot che navigano sul sito a una velocità insolitamente bassa. Al contrario, una riduzione imprevista della durata della sessione potrebbe essere causata da bot che cliccano sulle pagine del sito molto più velocemente di quanto sarebbe in grado di fare un utente umano.
• Conversioni-spazzatura: un'impennata di conversioni che appaiono fasulle, come l'apertura di account con indirizzi e-mail improbabili, o moduli di contatto inviati con nomi e numeri di telefono falsi, possono essere il risultato di spam bot o di bot-compilatori.
• Picchi di traffico proveniente da una posizione inaspettata: un picco improvviso di utenti da una determinata area geografica, e nello specifico da un'area che dove è improbabile che vivano un gran numero di persone che parlano fluentemente la lingua originale del sito, può essere un'indicazione di traffico bot.

In che modo il traffico bot può danneggiare le analitiche del sito?

Come accennato in precedenza, il traffico bot non autorizzato può impattare su metriche quali il numero di visualizzazioni della pagine, la durata media della sessione, la geolocalizzazione degli utenti e le conversioni. Questi scostamenti delle metriche possono causare una enorme frustrazione al proprietario del sito, in quanto è estremamente difficile misurarne le prestazioni quando viene inondato da bot. Anche i tentativi di miglioramento del sito, come il testing A/B e l'ottimizzazione del tasso di conversione vengono invalidati dal "rumore" statistico creato dai bot.

Come filtrare il traffico bot da Google Analytics

Google Analytics in realtà offre l'opzione di "escludere tutti gli hit effettuati da bot e spider conosciuti" (gli spider sono bot dei motori di ricerca che eseguono la scansione delle pagine Web). Se l'origine del traffico dei bot può essere identificata, gli utenti possono anche fornire un elenco specifico di IP che devono essere ignorati da Google Analytics.

Se da un lato queste misure impediranno ad alcuni bot di interrompere le rilevazioni analitiche, non saranno tuttavia in grado di fermarli tutti. Inoltre, la maggior parte dei bot dannosi persegue un obiettivo che va al di là dell'interruzione delle analisi del traffico, e questo tipo di misure, a parte preservare dati analitici, non fa nulla per mitigare l'attività nociva dei bot.

In che modo il traffico bot può danneggiare le prestazioni?

L'invio di enormi volumi di traffico bot è un metodo molto diffuso tra gli aggressori per lanciare degli attacchi DDoS. Nel corso di alcuni tipi di attacchi DDoS, infatti, viene indirizzato verso un sito Web un volume così elevato di traffico che il server di origine va in sovraccarico, e il sito diventa lento o del tutto indisponibile per gli utenti reali.

In che modo il traffico bot può andare a detrimento degli affari?

Alcuni siti Web possono finire paralizzati economicamente dal traffico bot dannoso, anche se le loro prestazioni rimangono impregiudicate. Sono particolarmente vulnerabili quei siti che fanno affidamento sulla pubblicità e quelli che vendono merci online con scorte di magazzino limitate.

Per i siti che pubblicano annunci, i bot che arrivano sul sito e fanno clic su vari elementi della pagina possono attivare falsi clic sugli annunci; questi clic sono noti come clic fraudolenti. Sebbene ciò possa inizialmente comportare un aumento delle entrate pubblicitarie, le reti pubblicitarie online sono molto brave a rilevare i clic dei bot. Se sospettano che un sito Web stia commettendo una frode sui clic, agiranno di solito vietando quel sito e il suo proprietario dalla loro rete. Per questo motivo, i proprietari di siti che ospitano annunci devono essere sempre cauti nei confronti delle frodi sui clic dei bot.

Sites with limited inventory can be targeted by inventory hoarding bots. As the name suggests, these bots go to e-commerce sites and dump tons of merchandise into their shopping carts, making that merchandise unavailable for purchase by legitimate shoppers. In some cases this can also trigger unnecessary restocking of inventory from a supplier or manufacturer. The inventory hoarding bots never make a purchase; they are simply designed to disrupt the availability of inventory.

In che modo i siti Web gestiscono il traffico bot?

Il primo passo per fermare o gestire il traffico bot verso un sito Web è includere un file robots.txt. Questo è un file che fornisce istruzioni per i bot che eseguono la scansione della pagina e può essere configurato per impedire del tutto ai bot di visitare o interagire con una pagina Web. Ma va notato che solo i bot buoni rispetteranno le regole in robots.txt; il file non impedirà ai bot dannosi di eseguire la scansione di un sito Web.

Esistono svariati strumenti che possono contribuire a mitigare il traffico bot dannoso. Una soluzione a limitazione della frequenza è in grado di rilevare e impedire il traffico bot proveniente da un singolo indirizzo IP, anche se comunque ometterà di rilevare una parte consistente del traffico dannoso. Oltre alla limitazione della frequenza, un ingegnere di rete può esaminare il traffico di un sito e identificare richieste di rete sospette, stilando un elenco di indirizzi IP da bloccare con uno strumento di filtraggio come WAF. Si tratta di una procedura lunga e laboriosa, e comunque è in grado di filtrare solo una parte del traffico dannoso.

Separate from rate limiting and direct engineer intervention, the easiest and most effective way to stop bad bot traffic is with a bot management solution. A bot management solution can leverage intelligence and use behavioral analysis to stop malicious bots before they ever reach a website. For example, Cloudflare Bot Management uses intelligence from millions of Internet properties and applies machine learning to proactively identify and stop bot abuse. Super Bot Fight Mode, available on Pro and Business plans, offers smaller organizations similar visibility and control over their bot traffic.