Come prevenire l'uso improprio dell'intelligenza artificiale

Riepilogo dell'articolo:

• Implementare solidi livelli di sicurezza per prevenire l'uso improprio dell'IA, concentrandosi sulla protezione dei dati sensibili e sulla prevenzione dello sfruttamento di modelli linguistici complessi tramite iniezione di prompt o esfiltrazione di dati.
• Definire quadri di governance e sistemi di monitoraggio completi per prevenire l'uso improprio dell'IA, garantendo che i sistemi automatizzati non vengano utilizzati per generare deepfake, diffondere disinformazione o lanciare sofisticati attacchi informatici.
• Proteggere l'intero ciclo di vita dell'IA neutralizzando le vulnerabilità nelle fasi di addestramento e implementazione dei modelli, un aspetto fondamentale per prevenire l'uso improprio dell'IA e preservare l'integrità organizzativa contro le minacce in continua evoluzione.

Come prevenire l’uso improprio dell’intelligenza artificiale

I sistemi di intelligenza artificiale (IA) sono potenti e molti sono integrati nei processi aziendali essenziali. Di conseguenza, l'uso improprio dell'intelligenza artificiale può compromettere le applicazioni e l'infrastruttura, esporre le organizzazioni a rischi per la conformità e la reputazione e, in casi estremi, persino mettere in pericolo la vita. Per prevenirne l'uso improprio, i modelli di intelligenza artificiale devono disporre di protezioni, controllo degli accessi, convalida dei prompt e altre misure di sicurezza. Anche le scelte architetturali, come l'incorporazione di human-in-the-loop (HITL) nell'infrastruttura applicativa basata sull'intelligenza artificiale, possono mitigare i rischi di uso improprio.

Cos'è l'uso improprio dell'IA?

L'uso improprio dell'intelligenza artificiale è l'uso di modelli di intelligenza artificiale per scopi diversi da quelli previsti dagli architetti del modello, in particolare per scopi dannosi o fraudolenti. Man mano che i modelli di intelligenza artificiale continuano a diventare più efficaci, la prevenzione dell’uso improprio dell’IA aumenta di importanza. Molti esperti di intelligenza artificiale sono preoccupati per i potenziali usi dell'IA da parte di stati canaglia e terroristi (parti che probabilmente stanno già utilizzando l'IA per promuovere le proprie cause).

I 10 principali rischi di OWASP per i modelli linguistici di grandi dimensioni (LLM) elencano alcuni dei modi in cui i modelli di intelligenza artificiale possono essere utilizzati in modo improprio, come il prompt injection per manipolarne il comportamento, la divulgazione di dati sensibili e l’introduzione di vulnerabilità della supply chain compromettendo un LLM su cui si basano le applicazioni a valle.

Oltre a questi rischi, le persone potrebbero tentare di utilizzare modelli di intelligenza artificiale per accedere o generare contenuti pericolosi o illegali, dalle istruzioni per costruire un'arma a contenuti espliciti dannosi.

Per gli utenti e le aziende che si affidano all'IA, prevenire l'uso improprio dell'IA è importante per proteggere i loro dati, il loro marchio e i loro clienti, oltre a mantenere la conformità alle normative sulla tutela della privacy.

Come può l'IA generativa essere usata impropriamente nel social engineering e in altri attacchi?

Gli autori di attacchi possono utilizzare i modelli di IA per aiutare in molti tipi di attacchi informatici. I modelli di IA generativa e gli agenti IA possono trovare vulnerabilità software, inclusi, in alcuni casi, gli exploit zero-day. Possono scrivere programmi malware. Possono assistere nelle campagne di social engineering creando messaggi di phishing e potrebbero essere in grado di identificare gli obiettivi di phishing. Le applicazioni di IA agentica potrebbero gestire autonomamente campagne di phishing a lungo termine, campagne di ransomware e altri attacchi informatici, potenziando le minacce persistenti avanzate (APT) e i gruppi criminali organizzati.

Anche i modelli di intelligenza artificiale generativa con barriere di sicurezza in atto possono essere utilizzati in modo improprio in questo modo, grazie a tecniche come il prompt injection e il jailbreak che consentono ai malintenzionati di sfruttare i modelli per i propri scopi.

Strategie per prevenire l'uso improprio dell'IA

Per impedire a individui e gruppi di utilizzare le applicazioni di intelligenza artificiale per scopi diversi da quello previsto, gli sviluppatori di applicazioni e modelli di intelligenza artificiale dovrebbero integrare una serie di misure di sicurezza durante tutto il processo di sviluppo e distribuzione.

Convalida dei dati di addestramento

Prima che un modello vada in produzione, viene addestrato. La prevenzione dell'uso improprio dell'IA inizia con la convalida dei dati di addestramento per garantire che i dati di addestramento di un modello non contengano dati distorti, dati privati o backdoor nascoste che consentono comportamenti non autorizzati imprevisti.

Poiché per perfezionare un modello sono necessari così tanti dati di addestramento, questi tendono a provenire da diverse fonti, rendendoli vulnerabili agli attacchi alla supply chain. Ma i malintenzionati potrebbero anche utilizzare attacchi di avvelenamento dei dati per corrompere i dati di formazione, con l'obiettivo di introdurre intenzionalmente pregiudizi o backdoor. I data poisoner possono anche entrare direttamente nei database dall'esterno dell'organizzazione, oppure le minacce interne possono danneggiare i dati di addestramento.

Oltre alla convalida dei dati, queste misure di sicurezza aiutano a prevenire gli attacchi di data poisoning:

• Principio del privilegio minimo: l'applicazione di questo principio zero trust agli archivi dei dati di addestramento aiuta a garantire che vi abbiano accesso solo le persone e i sistemi che ne hanno assolutamente bisogno. Ciò riduce il rischio che i dati di addestramento vengano violati da aggressori esterni.
• Diverse origini dati: attingere da più fonti di dati di addestramento aiuta a correggere le distorsioni che potrebbero essere presenti nei dati di un'unica origine.
• Monitoraggio e auditing: il monitoraggio delle modifiche ai dati di addestramento archiviati consente alle organizzazioni di tracciare attività sospette e identificare se un insieme di dati di addestramento è stato compromesso.
• Addestramento antagonista: questa tecnica prevede l'addestramento di un modello di intelligenza artificiale per riconoscere input intenzionalmente fuorvianti.

Molte organizzazioni non addestrano gli LLM in autonomia. Per le aziende che sono a valle dei provider LLM, è importante capire quali misure di sicurezza hanno adottato per difendere i propri modelli dall'avvelenamento dei dati.

I clienti dei provider LLM in genere utilizzano la generazione aumentata di recupero (RAG) per ottimizzare le prestazioni degli LLM per i loro casi d'uso. Anche la convalida e la protezione dei set di dati interni utilizzati per RAG sono essenziali.

Guardrail IA

I guardrail IA sono criteri e controlli che garantiscono che i modelli di intelligenza artificiale rimangano entro limiti predefiniti. I guardrail, ad esempio, possono consentire a un modello di scrivere un'e-mail ma impedirgli di scrivere un'e-mail di phishing. Oppure, possono consentire a un modello di codificare una funzione, ma impedirgli di scrivere un exploit di vulnerabilità.

I guardrail dovrebbero difendere i modelli di intelligenza artificiale in tutti gli aspetti, dai dati di addestramento (come descritto sopra) all'infrastruttura dell'applicazione.

• Guardrail dell'infrastruttura: comportano la protezione dei carichi di lavoro IA nel cloud con efficaci misure di sicurezza cloud native come la protezione delle API, la sicurezza della rete, la crittografia e la gestione delle identità e degli accessi (IAM).
• Guardrail delle applicazioni: i modelli di intelligenza artificiale sono generalmente integrati nelle applicazioni rivolte all'utente tramite API e le API possono applicare criteri per bloccare i contenuti dannosi o pericolosi che superano i guardrail del modello.
• Guardrail del modello: si tratta di mettere a punto un modello per la precisione e ottimizzarlo per lo scopo previsto. I modelli dovrebbero essere addestrati su quali tipi di risposte sono indesiderabili in modo da evitare di produrre tali risposte durante l'inferenza.

La maggior parte delle organizzazioni che integrano l'intelligenza artificiale nelle proprie applicazioni rivolte al pubblico sta integrando modelli di intelligenza artificiale preesistenti. I guardrail di applicazioni e infrastrutture, in questi casi, sono le aree in cui hanno il controllo più diretto. Dovrebbero anche cercare di comprendere i guardrail che i fornitori di modelli hanno integrato nei loro modelli.

Convalida dei prompt

I modelli di intelligenza artificiale sono particolarmente vulnerabili agli attacchi di prompt injection: prompt ingannevoli che ingannano un modello facendolo uscire dai suoi guardrail. A parte gli attacchi deliberati, alcuni prompt degli utenti potrebbero violare le Condizioni del servizio del modello, come le richieste di contenuti illegali, pericolosi o espliciti.

La convalida dei prompt aiuta a garantire che i prompt non contengano richieste dannose o ingannevoli. Proprio come la convalida dello schema API blocca le richieste illegittime che non sono conformi allo schema dell'API, la convalida dei prompt identifica e blocca i contenuti non sicuri nei prompt prima che raggiungano il modello di intelligenza artificiale.

Human-in-the-loop (HITL)

Human-in-the-loop (HITL) è un possibile approccio architettonico per ridurre i rischi del processo decisionale non supervisionato del modello di intelligenza artificiale. HITL mantiene i manager umani parte del flusso di lavoro di intelligenza artificiale in modo che possano approvare le decisioni prese dai modelli di intelligenza artificiale. I modelli possono essere addestrati con feedback umano diretto oppure i modelli possono essere configurati per richiedere assistenza umana quando può solo fare previsioni a bassa confidenza sulla risposta appropriata a un prompt.

Prevenzione della perdita di dati (DLP)

La prevenzione della perdita di dati (DLP) si riferisce a una categoria di tecnologie che possono impedire ai dati riservati di lasciare ambienti protetti. La DLP può esaminare le singole chiamate API e i prompt IA e, utilizzando una moltitudine di tecniche, tra cui il fingerprinting dei dati, la corrispondenza delle parole chiave e la corrispondenza dei modelli, la DLP può identificare dati sensibili e riservati e bloccare le richieste ove necessario.

La DLP può anche limitare il copia e incolla da determinate pagine Web o app per impedire agli addetti ai lavori di fornire informazioni interne a LLM esterni.

Rilevamento dello shadow AI

L'uso improprio dell'intelligenza artificiale può essere prevenuto solo se le organizzazioni hanno una visione completa di dove tale uso improprio potrebbe essere possibile e potrebbe avere un impatto. I modelli di intelligenza artificiale spesso finiscono per essere incorporati nell'infrastruttura applicativa in luoghi imprevisti o non autorizzati, in modo simile alla sfida delle shadow API affrontata da molti sviluppatori di app. Il rilevamento dello shadow AI aiuta le organizzazioni a determinare dove si trovano i rischi di uso improprio dell'IA in modo che possano mettere in atto guardrail e misure di sicurezza appropriate.

Come prevenire l’uso improprio dell’IA con Cloudflare

La Cloudflare AI Security Suite consente alle organizzazioni di scoprire lo shadow AI, proteggere i modelli da abusi, proteggere l'accesso degli agenti IA e bloccare l'esposizione dei dati. Ciò consente alle organizzazioni di accelerare l'adozione dell'IA pur mantenendo la sicurezza. Scopri di più sulla AI Security Suite.

 

DOMANDE FREQUENTI

In cosa consiste l’uso improprio dell’intelligenza artificiale?

L'uso improprio dell'intelligenza artificiale si verifica quando individui o gruppi utilizzano modelli per attività al di fuori del design originale dei modelli, in particolare per obiettivi ingannevoli, illegali o dannosi. Ciò include l’utilizzo di questi strumenti per creare contenuti pericolosi o limitati o per facilitare schemi fraudolenti.

In che modo gli autori di attacchi possono utilizzare i modelli di IA generativa per compromettere la sicurezza informatica?

I malintenzionati possono sfruttare l'IA generativa per scrivere malware, individuare difetti software e scoprire exploit zero-day. Inoltre, utilizzano questi strumenti per automatizzare il social engineering generando messaggi di phishing convincenti e identificando potenziali obiettivi per campagne di spear phishing a lungo termine. Inoltre, gli attacchi di prompt injection contro i modelli di IA generativa possono consentire agli autori di attacchi di scoprire informazioni riservate.

In che modo gli sviluppatori possono proteggere un modello prima che raggiunga la fase di produzione?

La sicurezza inizia durante la fase di addestramento convalidando i dati per garantire che siano privi di pregiudizi, informazioni private o backdoor nascoste. Gli sviluppatori di modelli di intelligenza artificiale dovrebbero anche utilizzare diverse origini dati, applicare il principio del privilegio minimo all’accesso ai dati e utilizzare la formazione del contraddittorio per aiutare il modello a riconoscere input ingannevoli.

Cosa sono i guardrail IA?

I guardrail sono politiche e controlli essenziali che mantengono il comportamento dell'IA entro limiti sicuri e predefiniti.

In che modo la convalida dei prompt previene le violazioni della sicurezza?

La convalida dei prompt funge da filtro che identifica e blocca le richieste ingannevoli o dannose prima che raggiungano il modello di intelligenza artificiale. Questo processo aiuta a fermare gli attacchi di prompt injection, in cui gli utenti cercano di ingannare il sistema facendogli aggirare le sue misure di sicurezza.