Ci siamo evoluti per un mondo lineare. Se cammini per un’ora, percorri una certa distanza. Cammina per due ore e coprirai il doppio della distanza. Questa intuizione ci è stata utile a Savannah. Ma fallisce in modo catastrofico di fronte all’intelligenza artificiale e alle principali tendenze esponenziali che ne sono alla base.
Da quando ho iniziato a lavorare sull’intelligenza artificiale nel 2010, la quantità di dati di addestramento inseriti nei modelli di intelligenza artificiale di frontiera è aumentata di 1 trilione di volte: da circa 10¹⁴ flop (operazioni in virgola mobile, l’unità di calcolo principale) per i primi sistemi a più di 10²⁶ per i modelli più grandi di oggi. È fantastico. Tutto il resto dell’intelligenza artificiale deriva da questo fatto.
Gli scettici continuano a prevedere i muri. E continuano a sbagliarsi di fronte a questa epica resa dei conti generazionale. Spesso sottolineano che la Legge di Moore sta rallentando. Citano anche la mancanza di dati o citano limitazioni sull’energia.
Ma se si considerano le forze combinate che guidano questa rivoluzione, la tendenza esponenziale sembra abbastanza prevedibile. Per capirne il motivo, vale la pena guardare la realtà complessa e in rapida crescita che si nasconde dietro i titoli dei giornali.
Pensa alla formazione sull’intelligenza artificiale come a una stanza piena di persone che lavorano su calcolatrici. Per anni, aggiungere potenza di calcolo significava aggiungere più persone con calcolatrici in quella stanza. Per la maggior parte del tempo quei lavoratori restavano inattivi, battendo le dita sulla scrivania, aspettando che arrivassero i numeri per il calcolo successivo. Ogni capacità di arresto è stata sprecata. La rivoluzione odierna va oltre l’uso di calcolatori migliori e più numerosi (in qualunque modo li fornisca); Si tratta davvero di assicurarsi che tutte quelle calcolatrici non si spengano mai e che funzionino bene insieme.
Tre progressi si stanno ora unendo per consentire questo. Innanzitutto, i calcolatori di base sono diventati più veloci. I chip di Nvidia offrono un aumento di oltre sette volte delle prestazioni grezze in soli sei anni 312 teraflop nel 2020 A 2.250 teraflop oggi. il nostro Maiya 200 Il chip, lanciato lo scorso gennaio, offre prestazioni migliori del 30% per dollaro rispetto a qualsiasi altro hardware della nostra flotta. In secondo luogo, l’accesso ai numeri è più veloce grazie a una tecnologia chiamata HBM, o memoria a larghezza di banda elevata, che impila i chip verticalmente come piccoli grattacieli; L’ultima generazione, HBM3, triplica la larghezza di banda del suo predecessore, inviando i dati ai processori così velocemente che sono sempre occupati. In terzo luogo, la stanza delle persone con la calcolatrice è diventata un ufficio e poi un intero complesso o città. tecniche come NVLink E infinitaband Connetti centinaia di migliaia di GPU a supercomputer delle dimensioni di un magazzino che agiscono come singole entità cognitive. Qualche anno fa questo era impossibile.
Tutti questi vantaggi si uniscono per fornire una quantità di calcoli notevolmente maggiore. Mentre nel 2020 ci volevano 167 minuti per addestrare un modello linguistico su otto GPU, ora ci vogliono meno di quattro minuti su un hardware moderno equivalente. Per mettere questo in prospettiva: La legge di Moore prevederà C’è stato un miglioramento solo 5 volte in questo periodo. Abbiamo esaminato 50x. Siamo passati da due GPU per addestrare AlexNet, il modello di riconoscimento delle immagini che ha dato il via al moderno boom del deep learning nel 2012, ai cluster più grandi di oggi di oltre 100.000 GPU, ciascuno individualmente molto più potente dei suoi predecessori.
Poi c’è stata una rivoluzione nel software. ricerca da era ai Ciò suggerisce che il calcolo richiesto per raggiungere un certo livello di prestazione si dimezza circa ogni otto mesi, molto più velocemente del tradizionale raddoppio da 18 a 24 mesi previsto dalla Legge di Moore. Il costo della manutenzione di alcuni modelli recenti è diminuito fino a 900 volte su base annua. L’intelligenza artificiale sta diventando sempre più economica da implementare.
I numeri a breve termine sono altrettanto scioccanti. Si consideri che i principali laboratori stanno aumentando la capacità di circa 4 volte l’anno. Dal 2020, il calcolo utilizzato per addestrare i modelli Frontier è aumentato 5 volte ogni anno. Si prevede che il calcolo globale rilevante per l’intelligenza artificiale raggiungerà i 100 milioni di equivalenti H100 entro il 2027, un aumento di dieci volte in tre anni. Mettiamo tutto insieme e ci aspettiamo un aumento di 1.000 volte del calcolo effettivo entro la fine del 2028. È plausibile che entro il 2030 introdurremo ulteriori calcoli. 200 Calcolo online dei gigawatt all’anno – simile al consumo energetico totale di Regno Unito, Francia, Germania e Italia.
Cosa otteniamo da tutto questo? Credo che questo guiderà la trasformazione dai chatbot agli agenti quasi a livello umano: sistemi semi-autonomi in grado di scrivere codice per giorni, completare progetti che durano settimane e mesi, effettuare chiamate, negoziare contratti, gestire la logistica, ecc. Dimentica gli aiutanti di base che rispondono alle domande. Pensa ai team di lavoratori dell’intelligenza artificiale che fanno brainstorming, collaborano ed eseguono. Siamo solo all’inizio di questa transizione e le sue implicazioni vanno ben oltre la tecnologia. Ogni settore costruito sul lavoro cognitivo sarà trasformato.
Il vincolo ovvio qui è l’energia. Un rack AI delle dimensioni di un frigorifero consuma 120 kilowatt, equivalenti a 100 case. Ma questa fame colpisce un altro esponente: costo solare In 50 anni c’è stato un calo di quasi 100 volte; prezzi delle batterie C’è stato un calo del 97% in tre decenni. Sta emergendo un percorso verso un ridimensionamento pulito.
Il capitale viene distribuito. L’ingegneria sta dando. Cluster da 100 miliardi di dollari, assorbimenti energetici da 10 gigawatt, supercomputer su scala industriale… queste non sono più fantascienza. Ora si sta preparando il terreno per questi progetti in America e nel mondo. Di conseguenza, ci stiamo muovendo verso la vera abbondanza cognitiva. In Microsoft AI, questo è il mondo per cui il nostro Superintelligence Lab sta pianificando e costruendo.
Gli scettici abituati a un mondo lineare continueranno a prevedere rendimenti decrescenti. Continueranno a chiedersi. L’esplosione computazionale è la storia tecnologica dei nostri tempi, punto e basta. E questo è ancora solo l’inizio.
Mustafa Suleiman è l’amministratore delegato di Microsoft AI.
