Recentemente ricercatori del MIT, della Northeastern University e del Mater pubblicazione Un articolo suggerisce che il modello linguistico di grandi dimensioni (LLM) che alimenta ChatGPT può talvolta dare priorità alla struttura della frase rispetto al significato quando si risponde alle domande. I risultati rivelano una debolezza nel modo in cui questi modelli elaborano le istruzioni che potrebbero far luce sul perché alcuni metodi di iniezione rapida o jailbreak funzionano, anche se i ricercatori avvertono che l’analisi di alcuni modelli di produzione rimane speculativa perché i dettagli dei dati di addestramento per importanti modelli di intelligenza artificiale commerciale non sono disponibili al pubblico.
Chantal Shaib e Vineeth M. Il team, guidato da Suryakumar, lo ha testato ponendo domande a modelli con schemi grammaticali conservati ma parole senza significato. Ad esempio, quando “Siediti velocemente, Parigi è nuvolosa?” (imitando la struttura di “Dove si trova Parigi?”), i modelli hanno comunque risposto “Francia”.
Ciò suggerisce che i modelli sfruttano sia modelli semantici che sintattici, ma possono fare eccessivo affidamento su scorciatoie strutturali quando sono fortemente correlati con domini specifici nei dati di addestramento, il che a volte consente ai modelli di sovrascrivere la comprensione semantica nei casi limite. Il team prevede di presentare questi risultati NeuriIPS Entro la fine del mese.
Come ripasso, la sintassi descrive la struttura della frase: come le parole sono disposte grammaticalmente e quali parti del discorso usano. La semantica descrive il significato reale delle parole, che può variare anche se la struttura grammaticale rimane la stessa.
La semantica dipende fortemente dal contesto e la navigazione nel contesto è ciò che fa funzionare LLM. Un input, il processo di trasformazione del tuo prompt in un output, una risposta LLM, coinvolge una complessa catena di modelli combinati con dati di training codificati.
Per indagare quando e come questa corrispondenza dei modelli potrebbe andare storta, i ricercatori hanno progettato un esperimento controllato. Ne fanno uno Set di dati sintetici Suggerimenti progettati con un modello grammaticale unico basato sullo schema della parte del discorso di ciascun soggetto. Ad esempio, le domande di geografia seguono un modello strutturale mentre le domande di lavoro creativo ne seguono un altro. Hanno quindi addestrato Allen AI Modello Olmo In questi dati è stato testato se i modelli possono distinguere tra sintassi e semantica.
