Cos'è la gestione dei bot? | Come funzionano i bot manager

La gestione dei bot implica l'identificazione e il blocco di alcuni bot da un sito Web o un'applicazione, consentendo comunque l'accesso ad altri bot.

Share facebook icon linkedin icon twitter icon email icon
  • Cos'è un bot?
  • Cos'è la gestione dei bot?

    Cos'è la gestione dei bot?

    La gestione dei bot si riferisce al blocco del traffico di bot Internet indesiderati o dannosi, consentendo nel contempo ai bot utili di accedere alle proprietà Web. La gestione dei bot realizza il suo scopo individuando l'attività dei bot, distinguendo tra comportamenti dei bot desiderabili e indesiderati e identificando le fonti dell'attività indesiderabile.

    La gestione dei bot è necessaria perché i bot, se non controllati, possono causare enormi problemi alle proprietà Web. Un eccessivo traffico bot può infatti sovraccaricare i server, rallentando o negando il servizio agli utenti legittimi (a volte sotto forma di attacco DDoS). I bot dannosi possono intaccare o scaricare contenuti da un sito Web, rubare le credenziali utente, diffondere rapidamente spam ed eseguire vari altri tipi di attacchi informatici.

    Qual è il compito di un bot manager?

    Un bot manager è qualsiasi prodotto software che gestisce i bot. I gestori di bot devono essere in grado di bloccare alcuni bot e lasciarne passare altri, invece di limitarsi a bloccare tutto il traffico non umano. Se, ad esempio, tutti i bot sono bloccati e i bot di Google non riescono a indicizzare una pagina, questa non può essere visualizzata nei risultati di ricerca, con conseguente riduzione del traffico organico verso il sito web.

    Un efficiente bot manager raggiunge i seguenti obiettivi. Può:

    • Individuare i bot rispetto ai visitatori umani
    • Identificare la reputazione del bot
    • Identificare gli indirizzi IP di origine dei bot e bloccarli sulla base della reputazione dell'IP
    • Analizzare il comportamento del bot
    • Aggiungere bot utili alle allowlist
    • Mettere alla prova i potenziali bot tramite un test Captcha, iniezione di codice JavaScript o altri metodi
    • Limitare la velocità di un potenziale bot che utilizza eccessivamente un servizio
    • Negare l'accesso a determinati contenuti o risorse nel caso di bot dannosi
    • Offrire ai bot contenuti alternativi

    Cos'è un bot?

    Un bot è un programma informatico che opera su una rete. I bot sono programmati per eseguire automaticamente determinate azioni. In genere le attività che svolgono sono semplici, ma un bot può eseguirle ripetutamente a una velocità molto più elevata di quanto possa fare un essere umano.

    Ad esempio, Google utilizza i bot per eseguire costantemente la scansione di pagine web e indicizzare i contenuti per la ricerca. Ci vorrebbe un'eternità a un team di persone per rivedere i contenuti sparsi su Internet, mentre i bot di Google sono in grado di mantenere l'indice di ricerca di Google abbastanza ben aggiornato.

    A titolo di esempio negativo, gli spammer utilizzano i bot di raccolta e-mail per raccogliere indirizzi e-mail da Internet. I bot eseguono la scansione delle pagine web, cercano qualsiasi testo in formato e-mail (testo + simbolo @ + dominio) e lo salvano in un database. Naturalmente, anche un essere umano potrebbe cercare gli indirizzi e-mail nelle pagine dei siti, ma poiché tali bot di raccolta e-mail sono automatizzati e cercano solo testi con determinati parametri, sono esponenzialmente più veloci nella ricerca degli indirizzi e-mail.

    Diversamente da un utente umano, un bot in genere non accede a Internet attraverso un browser tradizionale come Google Chrome o Mozilla Firefox. Invece di usare un mouse (o uno smartphone) e cliccare sui contenuti in un browser, i bot sono solo programmi software che compongono richieste HTTP (tra le altre attività), in genere utilizzando quello che viene chiamato un "browser senza testa".

    Qual è la funzione dei bot?

    I bot possono svolgere essenzialmente attività ripetitive e non creative: qualsiasi cosa che possa essere automatizzata. Possono interagire con una pagina web, compilare e inviare moduli, fare clic su link, scansionare (o ricercare) il testo e scaricare contenuti. I bot possono "guardare" video, pubblicare commenti e post, mettere mi piace o ritwittare su piattaforme social. Alcuni possono persino intrattenere conversazioni di base con gli utenti, e prendono il nome di "chatbot".

    Qual è la differenza tra bot utili e dannosi?

    Sorprendentemente, molte fonti stimano che circa la metà di tutto il traffico Internet sia costituito da bot. Proprio come alcuni software, ma non tutti, sono malware, così alcuni bot sono dannosi e altri sono utili.

    Qualsiasi bot che usi impropriamente un prodotto o servizio online può essere considerato dannoso. I bot dannosi possono variare da quelli palesemente maligni, come quelli che tentano di violare gli account degli utenti, a forme più lievi di uso improprio delle risorse, come i bot che acquistano biglietti su un sito Web di eventi.

    Un bot che esegue un servizio necessario o vantaggioso può essere considerato "utile". I chatbot per l'assistenza clienti, i crawler dei motori di ricerca e bot di monitoraggio delle prestazioni sono tutti esempi di bot utili. Questi in genere cercano e rispettano le regole delineate nel file robots.txt di un sito Web.

    Cos'è un file robots.txt?

    Robots.txt è un file su un server web che delinea le regole per i bot che accedono alle proprietà su quel server. Tuttavia, il file in sé non applica queste regole. In sostanza, chiunque programmi un bot dovrebbe seguire un sistema d'onore e assicurarsi che il proprio bot controlli il file robots.txt di un sito Web prima di accedervi. I bot dannosi, ovviamente, in genere non seguono questo sistema, di lì la necessità di gestirli.

    Come funziona la gestione dei bot?

    Per identificare i bot, i bot manager possono utilizzare test JavaScript (che determinano se viene impiegato o meno un browser Web tradizionale) o Captcha. Possono anche determinare quali utenti sono umani e quali bot con l'analisi comportamentale, ovvero confrontando il comportamento di un dato utente con i comportamenti standard degli utenti in passato. I bot manager devono disporre di una vasta raccolta di dati comportamentali di qualità da verificare al fine di eseguire quest'operazione.

    Se un bot viene riconosciuto come dannoso può essere reindirizzato a un'altra pagina oppure può essergli impedito in blocco l'accesso a una risorsa web.

    È possibile aggiungere i bot utili a una allowlist o a un elenco di bot consentiti (l'opposto di una blocklist). Un bot manager può anche distinguere tra bot utili e dannosi tramite ulteriori analisi comportamentali.

    Un altro approccio nella gestione dei bot consiste nell'utilizzare il file robots.txt per configurare un "honeypot". Un honeypot è un finto bersaglio per soggetti malintenzionati che, nel momento in cui vi si accede, rivela il soggetto come dannoso. Nel caso di un bot, un honeypot potrebbe essere una pagina web sul sito vietata ai bot dal file robots.txt. I bot utili leggeranno il file robots.txt ed eviteranno quella pagina web, mentre alcuni bot dannosi eseguiranno la scansione della pagina. Tracciando l'indirizzo IP dei bot che accedono all'honeypot, è possibile identificare e bloccare i bot dannosi.

    Quali tipi di attacchi è in grado di mitigare la gestione dei bot?

    Una soluzione di gestione dei bot può contribuire a fermare una vasta tipologia di attacchi:

    Queste ulteriori attività dei bot non sono sempre considerate dannose, ma un bot manager dovrebbe essere in grado di mitigarle a prescindere:

    • Accaparramento delle scorte
    • Pubblicazione automatica su forum o piattaforme social
    • Inserimento di articoli nel carrello

    In che modo Cloudflare gestisce i bot?

    Cloudflare ha la capacità unica di raccogliere dati da miliardi di richieste che ogni giorno fluiscono attraverso la sua rete. Mediante questi dati, Cloudflare è in grado di identificare la probabile attività dei bot grazie al machine learning e all'analisi comportamentale, e può fornire i dati necessari per creare una allowlist efficace di bot utili o una blocklist di bot dannosi. Cloudflare possiede inoltre un'ampia base dati di reputazione IP. Ulteriori informazioni sulla Gestione dei bot di Cloudflare.

  • Cos'è l'attacco di sottrazione e uso illecito delle credenziali?
  • Cos'è lo scraping dei contenuti?
  • Glossario

Gestione dei bot

Obiettivi di apprendimento

Dopo aver letto questo articolo sarai in grado di:

  • Scopri l'azione dei bot e perché è necessario gestirli
  • Impara a cosa servono i prodotti bot manager
  • Scopri perché alcuni bot dovrebbero essere consentiti e altri bloccati

Cos'è la gestione dei bot?

La gestione dei bot si riferisce al blocco del traffico di bot Internet indesiderati o dannosi, consentendo nel contempo ai bot utili di accedere alle proprietà Web. La gestione dei bot realizza il suo scopo individuando l'attività dei bot, distinguendo tra comportamenti dei bot desiderabili e indesiderati e identificando le fonti dell'attività indesiderabile.

La gestione dei bot è necessaria perché i bot, se non controllati, possono causare enormi problemi alle proprietà Web. Un eccessivo traffico bot può infatti sovraccaricare i server, rallentando o negando il servizio agli utenti legittimi (a volte sotto forma di attacco DDoS). I bot dannosi possono intaccare o scaricare contenuti da un sito Web, rubare le credenziali utente, diffondere rapidamente spam ed eseguire vari altri tipi di attacchi informatici.

Qual è il compito di un bot manager?

Un bot manager è qualsiasi prodotto software che gestisce i bot. I gestori di bot devono essere in grado di bloccare alcuni bot e lasciarne passare altri, invece di limitarsi a bloccare tutto il traffico non umano. Se, ad esempio, tutti i bot sono bloccati e i bot di Google non riescono a indicizzare una pagina, questa non può essere visualizzata nei risultati di ricerca, con conseguente riduzione del traffico organico verso il sito web.

Un efficiente bot manager raggiunge i seguenti obiettivi. Può:

  • Individuare i bot rispetto ai visitatori umani
  • Identificare la reputazione del bot
  • Identificare gli indirizzi IP di origine dei bot e bloccarli sulla base della reputazione dell'IP
  • Analizzare il comportamento del bot
  • Aggiungere bot utili alle allowlist
  • Mettere alla prova i potenziali bot tramite un test Captcha, iniezione di codice JavaScript o altri metodi
  • Limitare la velocità di un potenziale bot che utilizza eccessivamente un servizio
  • Negare l'accesso a determinati contenuti o risorse nel caso di bot dannosi
  • Offrire ai bot contenuti alternativi

Cos'è un bot?

Un bot è un programma informatico che opera su una rete. I bot sono programmati per eseguire automaticamente determinate azioni. In genere le attività che svolgono sono semplici, ma un bot può eseguirle ripetutamente a una velocità molto più elevata di quanto possa fare un essere umano.

Ad esempio, Google utilizza i bot per eseguire costantemente la scansione di pagine web e indicizzare i contenuti per la ricerca. Ci vorrebbe un'eternità a un team di persone per rivedere i contenuti sparsi su Internet, mentre i bot di Google sono in grado di mantenere l'indice di ricerca di Google abbastanza ben aggiornato.

A titolo di esempio negativo, gli spammer utilizzano i bot di raccolta e-mail per raccogliere indirizzi e-mail da Internet. I bot eseguono la scansione delle pagine web, cercano qualsiasi testo in formato e-mail (testo + simbolo @ + dominio) e lo salvano in un database. Naturalmente, anche un essere umano potrebbe cercare gli indirizzi e-mail nelle pagine dei siti, ma poiché tali bot di raccolta e-mail sono automatizzati e cercano solo testi con determinati parametri, sono esponenzialmente più veloci nella ricerca degli indirizzi e-mail.

Diversamente da un utente umano, un bot in genere non accede a Internet attraverso un browser tradizionale come Google Chrome o Mozilla Firefox. Invece di usare un mouse (o uno smartphone) e cliccare sui contenuti in un browser, i bot sono solo programmi software che compongono richieste HTTP (tra le altre attività), in genere utilizzando quello che viene chiamato un "browser senza testa".

Qual è la funzione dei bot?

I bot possono svolgere essenzialmente attività ripetitive e non creative: qualsiasi cosa che possa essere automatizzata. Possono interagire con una pagina web, compilare e inviare moduli, fare clic su link, scansionare (o ricercare) il testo e scaricare contenuti. I bot possono "guardare" video, pubblicare commenti e post, mettere mi piace o ritwittare su piattaforme social. Alcuni possono persino intrattenere conversazioni di base con gli utenti, e prendono il nome di "chatbot".

Qual è la differenza tra bot utili e dannosi?

Sorprendentemente, molte fonti stimano che circa la metà di tutto il traffico Internet sia costituito da bot. Proprio come alcuni software, ma non tutti, sono malware, così alcuni bot sono dannosi e altri sono utili.

Qualsiasi bot che usi impropriamente un prodotto o servizio online può essere considerato dannoso. I bot dannosi possono variare da quelli palesemente maligni, come quelli che tentano di violare gli account degli utenti, a forme più lievi di uso improprio delle risorse, come i bot che acquistano biglietti su un sito Web di eventi.

Un bot che esegue un servizio necessario o vantaggioso può essere considerato "utile". I chatbot per l'assistenza clienti, i crawler dei motori di ricerca e bot di monitoraggio delle prestazioni sono tutti esempi di bot utili. Questi in genere cercano e rispettano le regole delineate nel file robots.txt di un sito Web.

Cos'è un file robots.txt?

Robots.txt è un file su un server web che delinea le regole per i bot che accedono alle proprietà su quel server. Tuttavia, il file in sé non applica queste regole. In sostanza, chiunque programmi un bot dovrebbe seguire un sistema d'onore e assicurarsi che il proprio bot controlli il file robots.txt di un sito Web prima di accedervi. I bot dannosi, ovviamente, in genere non seguono questo sistema, di lì la necessità di gestirli.

Come funziona la gestione dei bot?

Per identificare i bot, i bot manager possono utilizzare test JavaScript (che determinano se viene impiegato o meno un browser Web tradizionale) o Captcha. Possono anche determinare quali utenti sono umani e quali bot con l'analisi comportamentale, ovvero confrontando il comportamento di un dato utente con i comportamenti standard degli utenti in passato. I bot manager devono disporre di una vasta raccolta di dati comportamentali di qualità da verificare al fine di eseguire quest'operazione.

Se un bot viene riconosciuto come dannoso può essere reindirizzato a un'altra pagina oppure può essergli impedito in blocco l'accesso a una risorsa web.

È possibile aggiungere i bot utili a una allowlist o a un elenco di bot consentiti (l'opposto di una blocklist). Un bot manager può anche distinguere tra bot utili e dannosi tramite ulteriori analisi comportamentali.

Un altro approccio nella gestione dei bot consiste nell'utilizzare il file robots.txt per configurare un "honeypot". Un honeypot è un finto bersaglio per soggetti malintenzionati che, nel momento in cui vi si accede, rivela il soggetto come dannoso. Nel caso di un bot, un honeypot potrebbe essere una pagina web sul sito vietata ai bot dal file robots.txt. I bot utili leggeranno il file robots.txt ed eviteranno quella pagina web, mentre alcuni bot dannosi eseguiranno la scansione della pagina. Tracciando l'indirizzo IP dei bot che accedono all'honeypot, è possibile identificare e bloccare i bot dannosi.

Quali tipi di attacchi è in grado di mitigare la gestione dei bot?

Una soluzione di gestione dei bot può contribuire a fermare una vasta tipologia di attacchi:

Queste ulteriori attività dei bot non sono sempre considerate dannose, ma un bot manager dovrebbe essere in grado di mitigarle a prescindere:

  • Accaparramento delle scorte
  • Pubblicazione automatica su forum o piattaforme social
  • Inserimento di articoli nel carrello

In che modo Cloudflare gestisce i bot?

Cloudflare ha la capacità unica di raccogliere dati da miliardi di richieste che ogni giorno fluiscono attraverso la sua rete. Mediante questi dati, Cloudflare è in grado di identificare la probabile attività dei bot grazie al machine learning e all'analisi comportamentale, e può fornire i dati necessari per creare una allowlist efficace di bot utili o una blocklist di bot dannosi. Cloudflare possiede inoltre un'ampia base dati di reputazione IP. Ulteriori informazioni sulla Gestione dei bot di Cloudflare.