Con la programmazione e la matematica si hanno risposte chiare e corrette che è possibile verificare, mi ha detto William Isaac, ricercatore presso Google DeepMind, quando ho incontrato lui e Julia Haas, collega ricercatrice presso l’azienda, per un’anteprima esclusiva del loro lavoro, che è pubblicato in Natura Oggi. Questo non è il caso delle questioni etiche, che hanno una serie di risposte generalmente accettate: “L’etica è una capacità importante ma è difficile da valutare”, dice Isaacs.
“Nel regno morale, non esiste giusto e sbagliato”, afferma Haas. “Ma non è affatto una situazione in cui tutti hanno a che fare. Ci sono risposte migliori e ci sono risposte peggiori.”
I ricercatori hanno identificato diverse sfide importanti e suggerito modi per affrontarle. Ma è più una lista dei desideri che un insieme di soluzioni già pronte. “Fanno un buon lavoro nel riunire prospettive diverse”, afferma Vera Demberg, che sta studiando un LLM presso l’Università del Saarland in Germania.
Meglio di “L’Eticista”
Diversi studi hanno dimostrato che gli LLM possono mostrare una notevole competenza etica. uno studio Uno studio pubblicato lo scorso anno ha rilevato che le persone negli Stati Uniti hanno valutato i consigli etici del GPT-4O di OpenAI come più etici, affidabili, premurosi e corretti rispetto ai consigli forniti dall’autore (umano) di “The Ethicist”. New York Times rubrica di consigli.
Il problema è che è difficile capire se tale comportamento sia una dimostrazione – ad esempio l’imitazione di una risposta ricordata – o la prova che qualche tipo di ragionamento morale sta effettivamente avendo luogo all’interno del modello. In altre parole, è un segno di virtù o virtù?
Questa domanda è importante perché molti studi mostrano anche quanto possano essere inaffidabili i LLM. Per cominciare, i modelli possono essere troppo desiderosi di compiacere. È stato riscontrato che quando una persona non è d’accordo o ritratta la sua prima risposta, inverte la sua risposta alla domanda etica e dice l’esatto contrario. Quel che è peggio è che la risposta che un LLM dà a una domanda può cambiare a seconda della presentazione o del formato. Ad esempio, i ricercatori hanno scoperto che i modelli interrogati sui valori politici possono dare risposte diverse, a volte opposte, a seconda che le domande forniscano risposte a scelta multipla o istruiscano i modelli a rispondere con parole proprie.
In un caso ancora più scioccante, Demberg e i suoi colleghi hanno presentato diversi LLM, comprese le versioni Llama 3 e Mistral di Meta, con una serie di dilemmi etici e hanno chiesto loro di scegliere quale delle due opzioni avrebbe avuto un risultato migliore. I ricercatori hanno scoperto che i modelli spesso invertivano le loro scelte quando le etichette di queste due opzioni venivano cambiate da “Caso 1” e “Caso 2” a “(A)” e “(B)”.
Hanno anche dimostrato che i modelli modificavano le risposte in risposta ad altri piccoli cambiamenti di formattazione, tra cui la modifica dell’ordine delle opzioni e la conclusione della domanda con i due punti invece che con il punto interrogativo.
