Messa a fuoco
In AI, “Attenzione” è una parola per una tecnologia software che determina una parola in un testo è la più rilevante per capirsi. Queste relazioni mappano il contesto e rendono il significato del contesto nella lingua. Ad esempio, i “tassi di interesse bancari” aiutano a stabilire il modello di attenzione nella sentenza secondo cui “banca” è correlato al “tasso di interesse” in un contesto finanziario, non nel contesto della banca del fiume. Attraverso l’attenzione, le relazioni concettuali diventano quantitative come il numero memorizzato su una rete neurale. L’attenzione gestisce anche che i modelli di lingua AI scelgono come le informazioni siano “più importanti” quando si fa ogni parola nella loro risposta.
Il conteggio del contesto con una macchina è complicato e i chip come le GPU non sono pratici in quanto la scala può calcolare queste relazioni in parallelo. Tuttavia, reale Trasformatore Dal 2017, l’architettura ha testato ogni parola in un prompt in un prompt con una specie di palla crudele. Quindi, se hai alimentato 1000 parole di un prompt nel modello AI, si traduce in 1000 x 1.000 confronti o 1 milione di relazioni da calcolare. Con 10.000 parole, è diventato 100 milioni di relazioni. Le spese aumentano nel trimestre, che crea una barriera fondamentale al trattamento della lunga conversazione.
Sebbene probabilmente utilizzi alcune tecniche di attenzione isolata a Opta GPT -5, le lunghe conversazioni soffrono ancora di sanzioni per le prestazioni. Ogni volta che invii una nuova risposta a Chatzpt, il modello AI confronta l’intero contesto per la storia dell’intera conversazione nel suo processo cardiaco.
Naturalmente, i ricercatori dietro il modello di trasformatore originale sono stati progettati per tradurre la macchina con sequenze relativamente brevi (probabilmente diverse centinaia di token, che fanno parte dei dati che rappresentano le parole), in cui l’attenzione quadrilaterali era gestibile. Quando le persone hanno iniziato a ridimensionare migliaia o migliaia di token, il costo quadrilatero è stato vietato.
