Gli strumenti di intelligenza artificiale più potenti di oggi – quelli che possono riassumere documenti, produrre opere d’arte, scrivere poesie o prevedere come si ripiegano proteine incredibilmente complesse – poggiano tutti sulle spalle di “Trasformatore”. Questa architettura di rete neurale, annunciata per la prima volta in un semplice centro congressi in California nel 2017, consente alle macchine di elaborare le informazioni in un modo che riflette il modo di pensare degli esseri umani.
In precedenza, la maggior parte dei modelli di intelligenza artificiale all’avanguardia si basavano su una tecnica chiamata reti neurali ricorrenti. Funziona leggendo il testo in finestre strette da sinistra a destra, ricordando solo ciò che è venuto immediatamente prima. Questa configurazione ha funzionato abbastanza bene per le frasi brevi. Ma nelle frasi più lunghe e complesse, i modelli dovevano comprimere troppo contesto nella loro memoria limitata, causando la perdita di dettagli importanti. L’ambiguità lo turbava.
I Transformers abbandonarono quell’approccio e adottarono qualcosa di più radicale: l’autoconcentrazione.
È sorprendentemente intuitivo. Noi esseri umani certamente non leggiamo e interpretiamo il testo scansionandolo parola per parola in un ordine rigoroso. Guardiamo, guardiamo indietro, indoviniamo e improvvisiamo, tenendo conto del contesto. Questo tipo di agilità mentale è stata per lungo tempo il Santo Graal dell’elaborazione del linguaggio naturale: insegnare alle macchine non solo a elaborare il linguaggio, ma anche a comprenderlo.
I trasformatori imitano quel salto mentale. Il loro meccanismo di auto-attenzione consente loro di confrontare ogni parola in una frase con ogni altra parola, tutto in una volta, rilevando schemi e creando significato dalle relazioni tra loro. “Puoi sfruttare tutti questi dati da Internet o Wikipedia e usarli per il tuo lavoro”, afferma il ricercatore di intelligenza artificiale. Sasha Lucioni Sul viso che abbraccia. “Ed era estremamente potente.”
Questa flessibilità non è limitata al testo. I trasformatori sono ora alla base dei dispositivi che producono musica, proiettano immagini e persino modellano le molecole. AlphaFold, ad esempio, tratta le proteine – lunghe catene di aminoacidi – come frasi. La funzione di una proteina dipende da come si ripiega e, a sua volta, dipende da come le sue parti si relazionano su lunghe distanze. Il meccanismo dell’attenzione consente al modello di soppesare quelle relazioni distanti con estrema precisione.
Guardando indietro, l’intuizione sembra quasi ovvia: l’intelligenza, umana o artificiale, dipende dal sapere su cosa concentrarsi e quando. I Transformer non hanno solo aiutato le macchine a comprendere il linguaggio. Ciò ha dato loro la possibilità di navigare in qualsiasi dato strutturato, proprio come gli umani navigano nel loro mondo complesso.
Soggetto:
- intelligenza artificiale/
- Sistema nervoso
