I team di sicurezza aziendali stanno perdendo terreno contro gli attacchi basati sull’intelligenza artificiale non perché le difese siano deboli, ma perché il modello di minaccia è cambiato. Man mano che gli agenti IA entrano in produzione, gli aggressori sfruttano le vulnerabilità di runtime in cui i tempi di interruzione sono misurati in secondi, le finestre di patch sono misurate in ore e la sicurezza tradizionale ha poca visibilità o controllo.
Rapporto sulle minacce globali 2025 di CrowdStrike La documentazione dura fino a 51 secondi. Gli aggressori intraprendono un’azione laterale fin dall’accesso iniziale, prima che la maggior parte dei team di sicurezza ricevano l’avviso iniziale. Lo stesso rapporto ha rilevato che il 79% dei rilevamenti non conteneva malware e gli aggressori hanno utilizzato tecniche di tastiera pratiche che aggirano completamente le tradizionali difese degli endpoint.
L’ultima sfida dei CISO è evitare il reverse engineering entro 72 ore
Mike Riemer, CISO sul campo IvantiOsservò mentre l’intelligenza artificiale restringeva la finestra tra il rilascio della patch e l’arma.
"Gli autori delle minacce sono soggetti a patch di reverse engineering entro 72 ore," Riemer ha detto a VentureBeat. "Se un cliente non installa la patch entro 72 ore dal rilascio, è vulnerabile allo sfruttamento. La velocità è stata notevolmente aumentata dall’intelligenza artificiale."
La maggior parte delle aziende impiega settimane o mesi per applicare manualmente le patch; la lotta agli incendi e altre priorità urgenti spesso hanno la priorità.
Perché la sicurezza tradizionale fallisce in fase di esecuzione?
Una SQL injection solitamente ha una firma riconoscibile. I team di sicurezza stanno affinando le proprie capacità aziendali e molti li stanno bloccando con quasi zero falsi positivi. Tuttavia "ignorare le istruzioni precedenti" Trasporta il potenziale carico utile equivalente a un buffer overflow senza condividere nulla con malware noti. L’attacco è semantico, non sintattico. Le iniezioni rapide portano le pratiche commerciali ostili e l’intelligenza artificiale utilizzata come arma a un nuovo livello di minaccia attraverso la semantica che maschera i tentativi di iniezione.
La ricerca di Gartner lo chiarisce: "Le aziende abbracceranno l’intelligenza artificiale produttiva indipendentemente dalla sicurezza." L’azienda ha scoperto che l’89% dei tecnici aziendali ignorerebbe le linee guida sulla sicurezza informatica per raggiungere un obiettivo aziendale. L’intelligenza artificiale ombra non è un rischio, è una cosa sicura.
"Gli autori delle minacce che utilizzano l’intelligenza artificiale come vettore di attacco si sono fatti avanti e sono molto più avanti di noi come difensori." Riemer ha detto a VentureBeat. "Dobbiamo salire sul carro come sostenitori dell’uso dell’intelligenza artificiale; non solo nel rilevamento dei deepfake ma anche nella gestione delle identità. Come posso utilizzare l’intelligenza artificiale per determinare se ciò che mi aspetta è reale?"
Carter Rees, vicepresidente dell’AI Reputazioneinquadra il gap tecnico: "Le strategie di difesa approfondita che si basano su regole deterministiche e firme statiche sono fondamentalmente inadeguate contro la natura stocastica e semantica degli attacchi che prendono di mira i modelli di intelligenza artificiale in fase di esecuzione."
11 vettori di attacco che aggirano ogni tradizionale controllo di sicurezza
Top 10 per le applicazioni del Master OWASP 2025 L’iniezione rapida viene prima. Ma questo è uno degli undici vettori che i leader della sicurezza e gli sviluppatori di intelligenza artificiale devono affrontare. Ciascuno richiede la comprensione sia dei meccanismi offensivi che delle contromisure difensive.
1. Iniezione diretta immediata: I modelli addestrati a seguire le istruzioni daranno la priorità ai comandi dell’utente rispetto alla formazione sulla sicurezza. Rapporto sullo stato degli attacchi GenAI di Pillar Security creare Il 20% dei jailbreak ha successo in media 42 secondi Il 90% degli attacchi riusciti fa trapelare dati sensibili.
Difesa: Classificazione dell’intento che riconosce i modelli di jailbreak prima che le richieste raggiungano il modello e filtro dell’output che cattura i bypass riusciti.
2. Attacchi mimetici: Gli aggressori sfruttano la tendenza del modello a seguire segnali contestuali incorporando richieste dannose all’interno di conversazioni innocue. Palo Alto Unità 42s "Piacere ingannevole" ricerca ha ottenuto il 65% di successo in 8.000 test su otto diversi modelli in soli tre round di interazione.
Difesa: Analisi sensibile al contesto che valuta l’intento cumulativo in una conversazione, non i singoli messaggi.
3. Attacchi in crescendo multi-giro: La distribuzione dei carichi tra le curve, ognuna delle quali singolarmente sembra innocua, rompe le protezioni a curva singola. Lo strumento automatico Crescendomation ha ottenuto il 98% di successo su GPT-4 e il 100% di successo su Gemini-Pro.
Difesa: Monitoraggio del contesto con stato, preservazione della cronologia delle conversazioni e segnalazione dei modelli di escalation.
4. Iniezione rapida indiretta (avvelenamento da RAG): Un exploit zero-click che prende di mira le architetture RAG, questa è una strategia di attacco particolarmente difficile da fermare. Ricerca ToxicRAG Raggiunge il 90% di successo degli attacchi inserendo solo cinque testi dannosi in database contenenti milioni di documenti.
Difesa: Avvolgi i dati recuperati in delimitatori, indicando al modello di trattare il contenuto solo come dati. Rimuovere i token di controllo dalle parti del database vettoriale prima di accedere alla finestra di contesto.
5. Attacchi stordenti: Le istruzioni dannose codificate utilizzando ASCII art, Base64 o Unicode ignorano i filtri delle parole chiave pur rimanendo interpretabili dal modello. Ricerca ArtQuick Nel valutare quanto siano letali tali attacchi, GPT-4 ha ottenuto un successo fino al 76,2% su Gemini, Claude e Llama2.
Difesa: I livelli di normalizzazione decodificano tutte le rappresentazioni non standard in testo semplice prima dell’analisi semantica. Questo singolo passaggio blocca la maggior parte degli attacchi basati su codici.
6. Estrazione del modello: Le query API sistematiche ricostruiscono capacità specifiche attraverso la distillazione. Ricerca sul modello di sanguisuga Ottenuto il 73% di somiglianza da ChatGPT-3.5-Turbo per $ 50 in costi API di 48 ore.
Difesa: Impronta digitale comportamentale, rilevamento di modelli di analisi della distribuzione, filigrana e limitazione della velocità per dimostrare il furto, analisi di modelli di query oltre il semplice conteggio delle richieste.
7. Esaurimento delle risorse (attacchi di spugna). Gli input preparati consumano budget di inferenza o degradano il servizio sfruttando la complessità quadratica dell’attenzione del Trasformatore. Indagine IEEE EuroS&P su campioni di spugne ha mostrato un aumento della latenza di 30 volte tra i modelli linguistici. Un attacco ha aumentato la velocità di Microsoft Azure Translator da 1 ms a 6 secondi. Distorsione 6.000 volte.
Difesa: Budgeting dei token per utente, analisi rapida della complessità che rifiuta modelli ripetitivi e caching semantico che soddisfa richieste pesanti e ripetute senza incorrere in costi di inferenza.
8. Frode d’identità sintetica. I personaggi generati dall’intelligenza artificiale che combinano dati reali e fittizi per aggirare l’autenticazione rappresentano uno dei maggiori rischi generati dall’intelligenza artificiale per i servizi finanziari e al dettaglio. Indagine della Federal Reserve sulla frode di identità sintetica note L’85-95% dei richiedenti sintetici evita i tradizionali modelli di frode. Rapporto Signicat 2024 Le frodi basate sull’intelligenza artificiale rappresentano ora il 42,5% di tutti i tentativi di frode rilevati nel settore finanziario.
Difesa: Autenticazione a più fattori che combina segnali comportamentali oltre le caratteristiche di identità statiche, nonché rilevamento di anomalie addestrato su modelli di identità sintetici.
9. Frode supportata da Deepfake. Audio e video generati dall’intelligenza artificiale fingono di essere amministratori per autorizzare le transazioni, spesso tentando di frodare le organizzazioni. Rapporto Onfido sulle frodi d’identità 2024 È stato documentato che i tentativi di deepfake sono aumentati del 3.000% nel 2023. Arup ha perso 25 milioni di dollari in una singola videochiamata Con partecipanti generati dall’intelligenza artificiale che impersonano il CFO e i suoi colleghi.
Difesa: Policy che richiedono la verifica fuori banda per transazioni di valore elevato, il rilevamento dell’attività per l’autenticazione video e la conferma secondaria indipendentemente dall’anzianità apparente.
10. Furto di dati da parte di addetti negligenti. I dipendenti incollano codice personalizzato e documenti strategici in LLM pubblici. esattamente questo Gli ingegneri Samsung lo hanno realizzato poche settimane dopo aver revocato il divieto di ChatGPTPerdita di codice sorgente e note di riunioni interne in tre diverse occasioni. Gartner prevede Entro il 2026, l’80% delle transazioni IA non autorizzate deriveranno da violazioni delle policy interne piuttosto che da attacchi dannosi.
Difesa: L’oscuramento delle informazioni di identificazione personale (PII) consente un utilizzo sicuro degli strumenti di intelligenza artificiale impedendo al contempo che i dati sensibili raggiungano modelli esterni. Utilizzare in modo sicuro il percorso con minore resistenza.
11. Abuso di allucinazioni. La manipolazione controfattuale aumenta i falsi risultati costringendo i modelli a concordare con le invenzioni. Ricerca sulle agenzie basate su LLM Mostra che le allucinazioni si accumulano e si intensificano in processi a più fasi. Ciò diventa pericoloso quando l’intelligenza artificiale alimenta flussi di lavoro automatizzati senza revisione umana.
Difesa: I moduli di messa a terra confrontano le risposte al contesto ricevuto per verificarne l’accuratezza ed eseguono anche punteggi di confidenza, segnalando possibili allucinazioni prima che si diffondano.
Cosa devono fare ora i CISO
Gartner prevede Entro il 2028, il 25% delle violazioni aziendali deriverà dall’uso improprio degli agenti IA. La finestra di creazione della difesa è ora aperta.
Chris Betz, CISO di AWS, RSA incorniciata nel 2024: "Nella fretta di utilizzare un’intelligenza artificiale produttiva, le aziende dimenticano la sicurezza dell’applicazione. I primi posti in cui vediamo le vulnerabilità della sicurezza sono in realtà il livello dell’applicazione. Le persone corrono per trovare soluzioni e commettono errori."
Emergono cinque priorità di distribuzione:
-
Automatizza la distribuzione delle patch. La finestra di 72 ore richiede patch autonome basate sulla gestione del cloud.
-
Distribuire innanzitutto gli strati di normalizzazione. Decodifica Base64, ASCII art e Unicode prima dell’analisi semantica.
-
Implementare il monitoraggio dei contenuti con stato. Gli attacchi Crescendo multi-round superano il sondaggio a richiesta singola.
-
Applicare la gerarchia delle istruzioni RAG. Avvolgi i dati recuperati in delimitatori, trattando il contenuto solo come dati.
-
Diffondi l’identità tra i prompt. Iniettare metadati utente per il contesto di autorizzazione.
"Quando metti la tua sicurezza ai margini della tua rete, inviti il mondo intero." disse Riemer. "Non lo contatterò finché non avrò scoperto cosa è successo e chi c’è dall’altra parte della tastiera. Questa è zero trust; non come una parola d’ordine ma come un principio operativo."
L’esposizione di Microsoft è passata inosservata per tre anni. Samsung ha fatto trapelare il codice per settimane. La questione per i CISO non è se implementare la sicurezza dell’inferenza, ma se riescono a colmare il divario prima che diventi il prossimo avvertimento.
