I chatbot funzionano meglio quando parli con loro in un linguaggio formale

Parlare a un chatbot dotato di intelligenza artificiale in un linguaggio meno formale, come fanno molte persone, riduce l’accuratezza delle sue risposte, suggerendo che dobbiamo essere linguisticamente rigorosi quando si utilizzano i chatbot o addestrare l’intelligenza artificiale ad adattarsi meglio all’informalità.

Fulei Zhang e Zhou Yu di Amazon hanno esaminato il modo in cui le persone avviano conversazioni con agenti umani rispetto agli assistenti chatbot basati su modelli linguistici di grandi dimensioni (LLM). Hanno utilizzato il modello Cloud 3.5 Sonnet per valutare le interazioni in base a una serie di fattori e hanno scoperto che le persone che interagivano con i chatbot utilizzavano una grammatica meno accurata ed erano meno educate rispetto a quando si rivolgevano agli umani. Hanno anche utilizzato una gamma terminologica leggermente più ristretta.

Ad esempio, secondo i punteggi derivati ​​dal cloud, le interazioni da uomo a uomo erano del 14,5% più educate e formali, del 5,3% più fluenti e dell’1,4% più lessicalmente diverse rispetto alle interazioni con i chatbot.

“Gli utenti adattano il loro stile linguistico nelle conversazioni human-LLM, rendendo i messaggi più brevi, più diretti, meno formali e grammaticalmente più semplici”, scrivono gli autori, che non hanno risposto a una richiesta di intervista, in un articolo sul lavoro. “Questo comportamento è probabilmente meno sensibile dal punto di vista sociale o meno capace di un’interpretazione sfumata da parte dei modelli mentali degli utenti del chatbot LLM.”

Ma si scopre che questa informalità ha anche uno svantaggio. Nella seconda valutazione, i ricercatori hanno addestrato un modello di intelligenza artificiale chiamato Mistral 7B su 13.000 conversazioni da uomo a uomo nel mondo reale e lo hanno utilizzato per interpretare 1.357 messaggi del mondo reale inviati ai chatbot di intelligenza artificiale. Hanno annotato ogni conversazione all’interno di entrambi i set di dati con un “intento” tratto da un elenco limitato e hanno riepilogato ciò che l’utente stava cercando di fare in ciascun caso. Ma poiché l’intelligenza artificiale di Mistral è stata addestrata alle conversazioni da uomo a uomo, i due hanno scoperto che l’intelligenza artificiale aveva difficoltà a etichettare correttamente l’intento delle conversazioni dei chatbot.

Zhang e Yu hanno quindi provato diverse strategie per migliorare la comprensione dell’IA Mistral. In primo luogo, hanno utilizzato l’intelligenza artificiale del cloud per riscrivere i messaggi più concisi degli utenti in una prosa simile a quella umana e li hanno utilizzati per mettere a punto il modello Mistral. Ciò ha ridotto la precisione delle etichette di intenti dell’1,9% rispetto alle risposte predefinite.

Successivamente, hanno utilizzato il cloud per fornire una riscrittura “minima”, che era più breve e più specifica (ad esempio, “Parigi il mese prossimo. Volo hotel?” per chiedere informazioni sulle opzioni di viaggio e alloggio per un viaggio imminente), ma questo ha ridotto la precisione di Mistral del 2,6%. Anche una riscrittura alternativa, “ricca” con un linguaggio più formale e vario ha visto un calo della precisione dell’1,8%. Addestrando il modello Mistral sia sulle riscritture minime che su quelle ricche, hanno riscontrato un miglioramento delle prestazioni del 2,9%.

noah giansiracusa Il professore della Bentley University nel Massachusetts afferma di non essere sorpreso dal fatto che le persone parlino ai robot in modo diverso rispetto agli umani, ma non è necessariamente qualcosa da evitare.

Giansiracusa afferma: “La scoperta che le persone comunicano in modo diverso con i chatbot rispetto agli altri esseri umani è stata inquadrata in modo attraente come un difetto dei chatbot, ma direi che non è così, è positivo quando le persone sanno che stanno parlando con i bot e adattano il loro comportamento di conseguenza.” “Penso che questo sia meglio che cercare ossessivamente di colmare il divario tra esseri umani e robot”.