Le implicazioni di phishing dei chatbot IA

L'evoluzione del phishing nell'era dell'intelligenza artificiale avanzata

Le profonde reti neurali all'avanguardia, un tipo di tecnologia di machine learning utilizzata per implementare l'intelligenza artificiale (IA), hanno conquistato i titoli dei giornali per diversi anni grazie alla loro capacità di tradurre da lingue straniere, scrivere poesie e generare tweet, oltre a parecchie altre attività creative.

Più recentemente, GPT-4 e il suo predecessore, ChatGPT, due modelli di IA conversazionali che utilizzano il deep learning, sono stati pubblicizzati come elementi rivoluzionari che "avrebbero trasformato il modo in cui tutti noi lavoriamo". Sia GPT-4 (Generative Pretrained Transformer 4) che ChatGPT sono molto più versatili dei chatbot tradizionali. Producono risposte di testo più simili a quelle umane a domande e richieste e possono "capire" il contesto di una query di ricerca o di una "conversazione" scritta e interpretare l'intento dietro la query di un utente. Le caratteristiche uniche di ChatGPT hanno contribuito a renderlo l'applicazione consumer in più rapida crescita nella storia.

I chatbot AI possono aiutare le persone a raccogliere impressionanti risposte simili a quelle umane o persino a creare determinate applicazioni, nella misura in cui le loro capacità hanno sollevato preoccupazioni sul fatto che potessero essere utilizzate dagli hacker per creare campagne di phishing.

Per comprendere meglio le implicazioni sulla sicurezza di GPT-4 e ChatGPT, è importante capire come potrebbero essere "addestrati" a scrivere contenuti per campagne di phishing, nonché le differenze tra campagne di phishing mirate semplici e altamente personalizzate.

Gli autori di attacchi hanno sempre sfruttato le ultime tendenze e tecnologie, dai servizi di archiviazione su cloud alla criptovaluta. In quanto tale, l'emergere dell'IA generativa funge da importante promemoria per le organizzazioni per garantire la sicurezza e-mail è in grado di bloccare le campagne di phishing avanzate, indipendentemente da chi o cosa ha scritto il messaggio.

Fare in modo che le macchine comprendano e generino testo

I modelli che alimentano gli odierni chatbot di intelligenza artificiale rappresentano nuove pietre miliari nell'elaborazione del linguaggio naturale (NLP), un ramo dell'intelligenza artificiale che consente alle macchine di "capire" e rispondere a testi o parole pronunciate più o meno allo stesso modo degli esseri umani. La NLP combina la modellazione basata su regole del linguaggio umano con vari modelli per aiutare i computer a dare un senso a ciò che stanno elaborando.

Una varietà di applicazioni, come strumenti di monitoraggio dei social media e assistenti vocali come Siri, utilizza la NLP da anni. Ma ChatGPT e GPT-4, che sono stati addestrati su miliardi di parametri di testo e immagine, sono senza dubbio più avanzati.

Ciascuno rappresenta un cosiddetto "modello di linguaggio esteso", un modello di NLP basato su una rete neurale che è stato addestrato per fare previsioni su quale sia la parola successiva più logica che segue una determinata frase. Si è scoperto che questa tecnica di addestramento produce modelli di PNL che sono validi anche in molti altri compiti.

Il modo in cui OpenAI (il creatore sia di ChatGPT che di GPT-4) ha applicato questa tecnica rappresenta una pietra miliare significativa. OpenAI ha portato la formazione un passo avanti rispetto ad altre applicazioni, utilizzando nuove tecniche per incorporare opinioni umane su testo o immagini prodotte e una formazione specializzata per seguire le istruzioni nei prompt. Di conseguenza, i loro modelli sono messi a punto per generare conversazioni più sfumate e simili a quelle umane.

Le risposte articolate generate da ChatGPT e GPT-4 sono destinate al bene. Tuttavia, i criminali informatici possono sfruttare le loro capacità come strumento per sviluppare campagne di phishing.

Abusare dei chatbot IA

Il phishing è la causa più comune delle violazioni dei dati e un punto di ingresso per il ransomware.

Poiché le e-mail di phishing sono socialmente progettate per imitare entità legittime, possono essere difficili da identificare a prima vista. Tuttavia, storicamente, gli identificatori comuni dei messaggi di phishing (in particolare quelli generati da criminali che non parlano/scrivono la lingua madre della vittima) hanno incluso grammatica scadente, parole con errori di ortografia o uso improprio e strutture di frasi improprie.

Nel gennaio 2023, la società di intelligence sulle minacce Recorded Future ha riferito che ChatGPT può essere utilizzato dai criminali informatici per attività come la creazione di messaggi di phishing dall'aspetto autentico.

Recorded Future ha scoperto che a poche settimane dal lancio di ChatGPT, gli attori delle minacce sul dark web e le fonti ad accesso speciale stavano condividendo conversazioni ChatGPT proof-of-concept che consentono lo sviluppo di malware, l'ingegneria sociale e la disinformazione.

Ci sono state anche segnalazioni di autori di attacchi che sfruttano la popolarità di ChatGPT e GPT-4, ad esempio:

• I ricercatori hanno trovato diversi casi in cui il nome e le immagini di ChatGPT da OpenAI sono stati falsificati in siti Web di phishing per diffondere malware o rubare informazioni sulla carta di credito.

• Ci sono state app ChatGPT false che, al momento del download, distribuiscono campagne di phishing per rubare le informazioni degli utenti.

• Immediatamente dopo il lancio di GPT-4, i truffatori hanno iniziato a inviare e-mail di phishing e a twittare link di phishing su un falso token OpenAI.

Tecnicamente, OpenAI vieta l'uso dei suoi modelli per la "generazione di malware", "attività ad alto rischio di danno economico", "attività fraudolenta o ingannevole" e qualsiasi altra attività illegale. I loro modelli non scriveranno e-mail di phishing né aiuteranno a creare siti Web di phishing se richiesto; tuttavia, possono semplificare il modo in cui gli hacker creano campagne di phishing. Se non altro, i chatbot AI possono consentire a tutti, inclusi gli autori di attacchi, di affinare rapidamente le proprie capacità di scrittura.

Nelle mani sbagliate, ChatGPT e GPT-4 potrebbero essere sfruttati per creare messaggi e siti Web di phishing dall'aspetto più autentico e ben scritti che possono eludere la tradizionale sicurezza e-mail o i filtri anti-phishing.

I chatbot di intelligenza artificiale potrebbero personalizzare le campagne di phishing??

Gli autori di attacchi sanno che devono solo attirare una vittima in un clic o in una conversazione per rubare credenziali, informazioni o denaro. Ciò è evidente negli attacchi di phishing "fake job" rivolti a persone in cerca di lavoro, truffe di rappresentazione di enti di beneficenza rivolte a donatori e truffe romantiche rivolte a persone che cercano appuntamenti online.

Oggi le reti neurali più potenti non sono in grado di “conoscere” i dati anagrafici del cittadino medio, né la specifica struttura organizzativa e comunicativa di una singola azienda. Ma un utente malintenzionato che combina la potenza dei chatbot di intelligenza artificiale con una ricerca sufficiente sulla vittima designata potrebbe personalizzare i messaggi di phishing su larga scala, rendendo ancora più difficile per gli utenti individuare e-mail dannose.

I criminali informatici utilizzano già attacchi BEC (Business Email Compromise)altamente mirati e a basso volume per frodare con successo le organizzazioni. I BEC in genere impersonano uno specifico dipendente o dirigente con cui la vittima designata corrisponde regolarmente. La vendor email compromise (VEC), una forma di BEC, si basa sulla compromissione degli account di una terza parte fidata (come un venditore o un fornitore) e rispecchierà i messaggi scambiati in precedenza. Poiché sia BEC che VEC sfruttano relazioni "affidabili", possono eludere i tradizionali gateway di posta elettronica sicuri e l'autenticazione. Gli attacchi BEC sono già costati alle aziende oltre 43 miliardi di dollari in tutto il mondo.

Blocca il phishing su tutti i canali con Zero Trust

Gli autori di attacchi sfrutteranno sempre la nuova tecnologia a proprio vantaggio. Fortunatamente, le innovazioni di sicurezza possono identificare i messaggi dannosi che aggirano le difese legacy o la consapevolezza degli utenti. Nel corso degli anni sono stati creati e addestrati sofisticati modelli di machine learning per esaminare molti segnali, oltre al semplice testo o alle immagini, per rilevare e bloccare il phishing.

I messaggi di posta elettronica contengono quantità significative di informazioni aggiuntive nei campi dell'intestazione e dei metadati, comprese le informazioni su dove è stata inviata l'e-mail, l'infrastruttura del server di origine e il relativo percorso di trasmissione. Oltre alle intestazioni, è necessario valutare altri dettagli in un messaggio, come URL e collegamenti specifici, allegati, membri della lista di distribuzione, tono e altro.

La sicurezza e-mail preventiva di Cloudflare, parte della sua piattaforma Zero Trust, esamina molteplici segnali generati dal contenuto e-mail, tra cui:

• Analisi del sentiment per rilevare i cambiamenti nei modelli e nei comportamenti (modelli di scrittura ed espressioni)

• Analisi strutturale di intestazioni, body copy, immagini, collegamenti e payload utilizzando euristiche e modelli di machine learning appositamente progettati per questi segnali

• Grafici di attendibilità che valutano i grafici sociali dei partner, la cronologia degli invii e le potenziali imitazioni dei partner

Cloudflare utilizza anche l'intelligence raccolta dalla media di 112 miliardi di minacce informatiche bloccate ogni giorno e da 2,120 miliardi di query DNS giornaliere. Con questa intelligence, i clienti di Cloudflare possono bloccare domini dannosi, isolare i propri utenti da contenuti Web sospetti, impedire agli utenti di divulgare credenziali su siti Web di phishing e bloccare il phishing attraverso diversi vettori di attacco.

Queste e altre tecniche impediscono agli autori di attacchi di sfruttare la fiducia implicita degli utenti nelle comunicazioni aziendali. L'approccio generale, denominato estensione di Zero Trust alla difesa dalle minacce, si basa su tre principi fondamentali:

• Violazione supposta: supponiamo che vengano sempre impostate campagne di phishing; scansiona Internet per cercare in modo proattivo l'infrastruttura degli aggressori e bloccare gli attacchi di phishing prima che raggiungano la posta in arrivo.

• Mai fidarsi: non fidarti delle comunicazioni aziendali solo perché hanno impostato l'autenticazione e-mail, provengono da domini affidabili o provengono da qualcuno con cui un utente aziendale ha già comunicato.

• Verifica sempre: verifica continuamente ogni utente e richiesta, anche se si trovano all'interno della rete aziendale.

È chiaro che gli aggressori utilizzeranno qualsiasi strumento facilmente disponibile, come i nuovi chatbot IA, per migliorare le loro tattiche. Giocare costantemente sulla difesa o aspettare di determinare se le nuove minacce informatiche sono una realtà può esporre un'organizzazione a un rischio maggiore. Piuttosto, "supponi una violazione", "non fidarti mai" e "verificare sempre" per essere protetti meglio da qualsiasi campagna di phishing.

Questo articolo fa parte di una serie sulle ultime tendenze e argomenti che hanno un impatto sui decisori tecnologici di oggi.

Approfondisci questo argomento.

Per esplorare i tipi di campagne di phishing rilevate e bloccate da Cloudflare, segui la demo autoguidata sulla sicurezza della posta elettronica.

Start my self-guided demo!

Punti chiave

Dopo aver letto questo articolo sarai in grado di capire:

• Come i chatbot IA conversazionali generano testo

• In che modo gli autori di attacchi potrebbero sfruttare ChatGPT o GPT-4 per creare campagne di phishing

• Come proteggersi da minacce di phishing generate dall'intelligenza artificiale

RISORSE CORRELATE

• Demo autoguidata sulla sicurezza della posta elettronica

• Webinar su richiesta: è in arrivo un "phishpocalypse?"

• Whitepaper: Semplificazione del modo in cui proteggiamo le applicazioni SaaS