Sebbene questi esiti avversi siano relativamente rari su base proporzionale, i ricercatori osservano che “a seconda del numero esatto di persone che utilizzano l’intelligenza artificiale e della frequenza con cui la utilizzano, anche un tasso molto basso colpisce un numero significativo di persone”. E i numeri peggiorano ancora se si considerano le conversazioni con almeno una “leggera” possibilità di neutralità, che si verifica tra 1 su 50 e 1 su 70 conversazioni (a seconda del tipo di disabilità).
Inoltre, la probabilità di disabilitare le conversazioni con il cloud sembra essere aumentata in modo significativo dalla fine del 2024 alla fine del 2025. Anche se i ricercatori non sono riusciti a individuare il motivo di questo aumento, hanno ipotizzato che potrebbe essere collegato al fatto che gli utenti “si sentono più a loro agio nel discutere argomenti difficili o nel chiedere consigli” e all’intelligenza artificiale che diventa più popolare.
Errore dell’utente?
Nello studio, il ricercatore ha ammesso che lo studio del testo della conversazione di Claude misura solo “la possibilità di depotenziamento piuttosto che un danno certo” e “dipende automaticamente dalla valutazione degli eventi soggettivi sottostanti”. Idealmente, hanno scritto, gli studi futuri potrebbero utilizzare interviste agli utenti o studi controllati randomizzati per misurare questi danni in modo più diretto.
Detto questo, lo studio contiene diversi esempi preoccupanti in cui il testo della conversazione si riferisce chiaramente a danni nel mondo reale. Il cloud a volte rafforzava con entusiasmo “affermazioni presunte o false” (ad esempio, “sicuro”, “esatto”, “100%”), che in alcuni casi spingevano gli utenti a “creare (o) narrazioni sempre più elaborate che divergono dalla realtà”.
L’entusiasmo di Claude può portare gli utenti a “inviare messaggi contrastanti, porre fine a relazioni o redigere annunci pubblici”, hanno scritto i ricercatori. In molti casi, gli utenti che hanno inviato messaggi elaborati dall’intelligenza artificiale hanno poi espresso rammarico nelle conversazioni con Claude, dicendo: “Non sono stato io” e “Mi hai fatto comportare in modo stupido”.
