Cos'è la gestione dei bot? | Come funzionano i bot manager

La gestione dei bot implica l'identificazione e il blocco di alcuni bot da un sito Web o un'applicazione, consentendo comunque l'accesso ad altri bot.

Share facebook icon linkedin icon twitter icon email icon

Gestione dei bot

Obiettivi di apprendimento

Dopo aver letto questo articolo sarai in grado di:

  • Scopri l'azione dei bot e perché è necessario gestirli
  • Impara a cosa servono i prodotti bot manager
  • Scopri perché alcuni bot dovrebbero essere consentiti e altri bloccati

Cos'è la gestione dei bot?

La gestione dei bot si riferisce al blocco del traffico di bot Internet indesiderati o dannosi, consentendo nel contempo ai bot utili di accedere alle proprietà Web. La gestione dei bot realizza il suo scopo individuando l'attività dei bot, distinguendo tra comportamenti dei bot desiderabili e indesiderati e identificando le fonti dell'attività indesiderabile.

La gestione dei bot è necessaria perché i bot, se non controllati, possono causare enormi problemi alle proprietà Web. Un eccessivo traffico bot può infatti sovraccaricare i server Web, rallentando o negando il servizio agli utenti legittimi (a volte sotto forma di attacco DDoS). I bot dannosi possono intaccare o scaricare contenuti da un sito Web, rubare le credenziali utente, diffondere rapidamente spam ed eseguire vari altri tipi di attacchi informatici.

Qual è il compito di un bot manager?

Un bot manager è qualsiasi prodotto software che gestisca i bot. I gestori di bot devono essere in grado di bloccare alcuni bot e lasciarne passare altri, invece di limitarsi a bloccare tutto il traffico non umano. Se, ad esempio, tutti i bot sono bloccati e i bot di Google non riescono a indicizzare una pagina, questa non può essere visualizzata nei risultati di ricerca di Google, con conseguente riduzione del traffico organico verso il sito Web.

Un efficiente bot manager raggiunge i seguenti obiettivi. Può:

  • Individuare i bot rispetto ai visitatori umani
  • Identificare la reputazione del bot
  • Identificare gli indirizzi IP di origine del bot e bloccarlo sulla base della reputazione dell'IP
  • Analizzare il comportamento del bot
  • Aggiungere bot utili alle whitelist
  • Mettere alla prova i potenziali bot tramite un test Captcha, iniezione di codice JavaScript o altri metodi
  • Limitare la velocità di un potenziale bot che utilizza eccessivamente un servizio
  • Negare l'accesso a determinati contenuti o risorse nel caso di bot dannosi
  • Offrire ai bot contenuti alternativi

Cos'è un bot?

Un bot è un programma per computer che opera su una rete. I bot sono programmati per eseguire automaticamente determinate azioni. In genere le attività che svolgono sono semplici, ma un bot può eseguirle ripetutamente a una velocità molto più elevata di quanto possa fare un essere umano.

Ad esempio, Google utilizza i bot per eseguire costantemente la scansione di pagine Web e indicizzare i contenuti per la ricerca. Ci vorrebbe un'eternità a un team di persone per rivedere i contenuti sparsi su Internet, mentre i bot di Google sono in grado di mantenere l'indice di ricerca di Google discretamente aggiornato.

A titolo di esempio negativo, gli spammer utilizzano i bot di raccolta e-mail per raccogliere indirizzi e-mail da Internet. I bot eseguono la scansione delle pagine Web, cercano qualsiasi testo in formato e-mail (testo + simbolo @ + dominio) e lo salvano in un database. Naturalmente, un essere umano potrebbe cercare nelle pagine Web gli indirizzi e-mail, ma poiché tali bot di raccolta e-mail sono automatizzati e cercano solo testi con determinati parametri, sono esponenzialmente più veloci nella ricerca di indirizzi e-mail.

Diversamente da quando un utente accede a Internet, un bot in genere non accede a Internet attraverso un browser Web tradizionale come Google Chrome o Mozilla Firefox. Invece di usare un mouse (o uno smartphone) e cliccare sui contenuti in un browser, i bot sono solo programmi software che compongono richieste HTTP (tra le altre attività), in genere utilizzando quello che viene chiamato un "browser senza testa".

Qual è il compito dei bot?

I bot possono svolgere essenzialmente attività ripetitive e non creative: qualsiasi cosa che possa essere automatizzata. Possono interagire con una pagina Web, compilare e inviare moduli, fare clic su link, scansionare (o ricercare) il testo e scaricare contenuti. I bot possono "guardare" video, pubblicare commenti e post, mettere mi piace o ritwittare su piattaforme social. Alcuni possono persino intrattenere conversazioni di base con utenti, note come "chatbot".

Qual è la differenza tra bot utili e dannosi?

Sorprendentemente, molte fonti stimano che circa la metà di tutto il traffico Internet sia costituito da bot. Proprio come alcuni software, ma non tutti, sono malware, così alcuni bot sono dannosi e altri sono utili.

Qualsiasi bot che usi impropriamente un prodotto o servizio online può essere considerato dannoso. I bot dannosi possono variare da quelli palesemente maligni, come quelli che tentano di violare gli account degli utenti, a forme più lievi di uso improprio delle risorse, come i bot che acquistano biglietti su un sito Web di eventi.

Un bot che esegue un servizio necessario o vantaggioso può essere considerato "utile". Chatbot del servizio clienti, crawler dei motori di ricerca e bot di monitoraggio delle prestazioni sono tutti esempi di bot utili. Questi in genere cercano e rispettano le regole delineate nel file robots.txt di un sito Web.

Cos'è un file robots.txt?

Robots.txt è un file su un server Web che delinea le regole per i bot che accedono alle proprietà su quel server. Tuttavia, il file in sé non applica queste regole. In sostanza, chiunque programmi un bot dovrebbe seguire un sistema d'onore e assicurarsi che il proprio bot controlli il file robots.txt di un sito Web prima di accedervi. I bot dannosi, ovviamente, in genere non seguono questo sistema, di lì la necessità di gestire i bot.

Come funziona la gestione dei bot?

Per identificare i bot, i bot manager possono utilizzare test JavaScript (che determinano se viene impiegato o meno un browser Web tradizionale) o Captcha. Possono anche determinare quali utenti sono umani e quali bot mediante analisi comportamentale, ovvero confrontando il comportamento di un utente con quello standard degli utenti in passato. I bot manager devono disporre di una vasta raccolta di dati comportamentali di qualità da verificare al fine di eseguire quest'operazione.

Se un bot viene riconosciuto come dannoso può essere reindirizzato a un'altra pagina oppure può essergli impedito in blocco l'accesso a una risorsa Web.

È possibile aggiungere i bot utili a una whitelist o a un elenco di bot consentiti (l'opposto di una blacklist). Un bot manager può anche distinguere tra bot utili e dannosi tramite ulteriori analisi comportamentali.

Un altro approccio nella gestione dei bot consiste nell'utilizzare il file robots.txt per configurare un honeypot. Un "honeypot" è un finto bersaglio per soggetti malintenzionati che, nel momento in cui vi si accede, rivela il soggetto come dannoso. Nel caso di un bot, un honeypot potrebbe essere una pagina Web sul sito vietata ai bot dal file robots.txt. I bot utili leggeranno il file robots.txt ed eviteranno quella pagina web, mentre alcuni bot dannosi eseguiranno la scansione della pagina Web. Tracciando l'indirizzo IP dei bot che accedono all'honeypot, è possibile identificare e bloccare i bot dannosi.

Quali tipi di attacchi bot mitiga la gestione dei bot?

Una soluzione di gestione dei bot può contribuire a fermare una varietà di attacchi:

Queste ulteriori attività dei bot non sono sempre considerate dannose, ma un bot manager dovrebbe essere in grado di mitigarle indipendentemente:

  • Accaparramento delle scorte
  • Pubblicazione automatica su forum o piattaforme social
  • Inserimento di articoli nel carrello

In che modo Cloudflare gestisce i bot?

Cloudflare ha la capacità unica di raccogliere dati da miliardi di richieste che ogni giorno fluiscono attraverso la sua rete. Mediante questi dati, Cloudflare è in grado di identificare la probabile attività dei bot grazie al machine learning e all'analisi comportamentale, e può fornire i dati necessari per creare una whitelist efficace di bot utili o una blacklist di bot dannosi. Cloudflare possiede inoltre un ampio database di reputazione IP. Ulteriori informazioni sulla Gestione dei bot di Cloudflare.