Uno degli architetti della tecnologia dei trasformatori di potenza fa un’autocritica sorprendente. ChatGPT, claudee quasi tutti i principali sistemi di intelligenza artificiale questa settimana hanno detto a un pubblico di leader del settore che la ricerca sull’intelligenza artificiale è diventata pericolosamente ristretta e fuori dalla sua stessa creazione.
leone jonesCoautore dell’articolo fondamentale del 2017 "Tutto ciò di cui hai bisogno è attenzione" e ha persino inventato il nome "trasformatore," Ha dato una valutazione insolitamente schietta. Conferenza TED sull’intelligenza artificiale Martedì a San Francisco: nonostante investimento senza precedenti Il talento e il campo che si riversano nell’intelligenza artificiale si sono concentrati attorno a un unico approccio architettonico, rendendo potenzialmente ciechi i ricercatori rispetto al prossimo grande passo avanti.
"Sebbene non ci sia mai stata così tanta attenzione, risorse, denaro e talento, ciò ha in qualche modo comportato un restringimento del campo di ricerca che svolgiamo." Jones ha detto al pubblico. Ha affermato di essere lui il colpevole "un’enorme quantità di pressione" Dagli investitori che chiedono rendimenti e dai ricercatori che lottano per distinguersi in un campo sovraffollato.
L’avvertimento è particolarmente importante dato il ruolo di Jones nella storia dell’intelligenza artificiale. architettura del trasformatore Ha contribuito a svilupparlo presso Google ed è diventato il fondamento del boom produttivo dell’IA; Ha abilitato sistemi in grado di scrivere articoli, produrre immagini e chattare come esseri umani. il suo articolo Citato più di 100.000 volterendendola una delle pubblicazioni di informatica più influenti del secolo.
Attualmente CTO e co-fondatore dell’azienda con sede a Tokyo PagliaJones sta chiaramente rinunciando alla sua stessa creazione. "Personalmente all’inizio di quest’anno ho deciso di ridurre notevolmente il tempo dedicato ai trasformatori." ha detto. "Ora sto apertamente ricercando e cercando la prossima grande novità."
Perché maggiori finanziamenti per l’intelligenza artificiale hanno portato a una ricerca meno creativa, secondo il pioniere dei trasformatori
Jones ha dipinto un quadro della comunità di ricerca sull’intelligenza artificiale sofferente di quello che definisce un paradosso: più risorse portano a meno creatività. Ha spiegato che gli investigatori controllavano costantemente per vedere se veniva controllato. "scavato" Da concorrenti che lavorano sulle stesse idee e da accademici che scelgono progetti sicuri e pubblicabili rispetto a progetti rischiosi e potenzialmente trasformativi.
"Se stai facendo una ricerca standard sull’intelligenza artificiale in questo momento, devi presumere che ci siano altri tre o quattro gruppi che stanno facendo una cosa molto simile o forse esattamente la stessa." Jones descrisse il seguente ambiente e disse: "Sfortunatamente, questa pressione danneggia la scienza perché le persone hanno fretta di fare i compiti, il che riduce la quantità di creatività."
Ha fatto un’analogia con l’intelligenza artificiale stessa: "esplorazione e sfruttamento" È un compromesso che determina il modo in cui gli algoritmi cercano le soluzioni. Quando un sistema sfrutta troppo ed esplora troppo poco, trova soluzioni locali mediocri mentre perde alternative superiori. "Questa è quasi certamente la situazione in cui ci troviamo adesso nel settore dell’intelligenza artificiale." Jones ha difeso.
Le conseguenze di ciò fanno riflettere. Jones ha ricordato il periodo appena prima dell’avvento dei trasformatori, quando i ricercatori modificavano all’infinito le reti neurali ricorrenti (l’architettura precedentemente dominante) per ottenere guadagni incrementali. Quando arrivarono i Transformers, tutto questo improvvisamente non aveva più senso. "Se questi ricercatori avessero saputo che qualcosa come Transformers sarebbe arrivato, quanto tempo pensi che avrebbero speso cercando di migliorare la rete neurale ricorrente?" chiese.
Teme che il campo stia ripetendo questo schema. "Temo che in questo momento ci troviamo in una situazione in cui ci stiamo concentrando solo su un’architettura, modificandola e provando cose diverse, dove una svolta potrebbe essere dietro l’angolo."
Come è nato l’articolo “Tutto ciò di cui hai bisogno è attenzione” dalla libertà e non dall’oppressione?
Per sottolineare la sua idea, Jones ha spiegato le condizioni che hanno portato alla nascita dei trasformatori; Questo è in netto contrasto con l’ambiente odierno. Il progetto ha detto "molto organico, dal basso verso l’alto," nato "Parliamo a pranzo o scarabocchiamo a caso sulla lavagna dell’ufficio."
criticamente, "In realtà non avevamo una buona idea, avevamo la libertà di dedicare tempo e lavorarci sopra e, cosa più importante, non avevamo alcuna pressione da parte del management." Jones ha spiegato. "Non c’è alcuna pressione per lavorare su un progetto specifico, basta pubblicare una serie di articoli per aumentare una certa metrica."
Secondo Jones, questa libertà è oggi in gran parte assente. Anche i ricercatori assunti per stipendi astronomici – "letteralmente un milione di dollari all’anno in alcuni casi" – potrebbe non sentirsi in grado di correre rischi. "Pensi che si sentano più autorizzati a provare le loro idee folli e idee più speculative quando iniziano le loro nuove posizioni, o sentono molta pressione per dimostrare il loro valore e cogliere ancora una volta i frutti più bassi?" chiese.
Perché un laboratorio di intelligenza artificiale scommette che la libertà di ricerca è migliore degli stipendi da un milione di dollari?
La soluzione proposta da Jones è volutamente provocatoria: alzare il volume "scopri il quadrante" e condividere i risultati apertamente, anche a costi competitivi. Ha riconosciuto l’ironia della sua posizione. "Potrebbe sembrare un po’ controverso che uno scrittore di Transformers salga sul palco e dica che ne è assolutamente stufo, ma è abbastanza giusto, giusto? Ci sto lavorando da più tempo di chiunque altro, tranne probabilmente sette persone."
SU: PagliaJones ha detto che sta cercando di ricreare l’ambiente pre-conversione con una ricerca ispirata alla natura e una pressione minima per perseguire pubblicazioni o competere direttamente con i rivali. Ha offerto ai ricercatori un mantra dell’ingegnere Brian Cheung: "Devi solo fare delle ricerche che non accadrebbero se non le facessi."
Un esempio di questo è quello di Sakana. "macchina del pensiero perpetua," che incorpora la sincronizzazione simile al cervello nelle reti neurali. Un dipendente che ha avuto l’idea ha detto a Jones che avrebbe dovuto affrontare scetticismo e pressioni per non perdere tempo con i suoi precedenti datori di lavoro o posizioni accademiche. Su Sakana, Jones gli ha concesso una settimana per esplorare. Il progetto ha avuto abbastanza successo da attirare l’attenzione NeurIPSun’importante conferenza sull’intelligenza artificiale.
Jones ha anche sostenuto che la libertà nelle assunzioni prevale sul compenso. "È davvero un ottimo modo per acquisire competenze," Ha parlato dell’ambiente di scoperta. "Pensaci, le persone talentuose, intelligenti, le persone ambiziose cercheranno naturalmente questo tipo di ambiente."
Il successo di Transformer potrebbe ostacolare la prossima svolta dell’intelligenza artificiale
Forse in modo più provocatorio, Jones ha suggerito che i trasformatori potrebbero essere vittime del proprio successo. "Il fatto che la tecnologia attuale sia così potente e flessibile… ci ha impedito di cercare qualcosa di meglio," ha detto. "È logico che se la tecnologia attuale fosse peggiore, più persone cercherebbero qualcosa di meglio."
È stato attento a chiarire che non stava ignorando la ricerca in corso sui trasformatori. "C’è ancora un lavoro molto importante da fare sulla tecnologia attuale che aggiungerà molto valore nei prossimi anni." ha detto. "Sto solo dicendo che data la quantità di talento e risorse di cui disponiamo adesso, possiamo permetterci di fare molto di più."
Il suo messaggio finale era la cooperazione piuttosto che la competizione. "Davvero, dal mio punto di vista non è una competizione." ha concluso Jones. "Abbiamo tutti lo stesso obiettivo. Vogliamo tutti vedere questa tecnologia avanzare in modo che tutti possiamo trarne vantaggio. Pertanto, se riusciamo tutti insieme ad attivare il pulsante di scoperta e a condividere apertamente ciò che troviamo, possiamo raggiungere il nostro obiettivo molto più velocemente."
L’alta posta in gioco nel problema della scoperta dell’intelligenza artificiale
Queste parole arrivano in un momento cruciale per l’intelligenza artificiale. L’industria è alle prese con prove crescenti della produzione di modelli di trasformatori più grandi potrebbero avvicinarsi a rendimenti decrescenti. I principali ricercatori hanno iniziato a discutere apertamente se l’attuale paradigma presenta limiti fondamentali; Alcuni sostengono che il progresso continuo verso sistemi di intelligenza artificiale più capaci richiederà non solo innovazioni su scala ma anche architetturali.
L’avvertimento di Jones suggerisce che per trovare queste innovazioni potrebbe essere necessario smantellare le strutture di incentivi che hanno guidato la recente ascesa dell’intelligenza artificiale. Con Ogni anno decine di miliardi di dollari confluiscono nello sviluppo dell’intelligenza artificiale Con una forte concorrenza e segretezza tra i laboratori e cicli di pubblicazione rapidi, l’ambiente di ricerca esplorativa che descrive sembra sempre più distante.
Ma la prospettiva interna ha un peso insolito. Avendo contribuito a creare la tecnologia che ora domina il settore, Jones comprende sia ciò che serve per raggiungere un’innovazione rivoluzionaria sia ciò che il settore rischia abbandonando tale approccio. La decisione di allontanarsi da Transformers (l’architettura che lo ha reso famoso) aggiunge credibilità a un messaggio che altrimenti potrebbe suonare come un posizionamento anomalo.
Non è chiaro se i potenti protagonisti dell’intelligenza artificiale risponderanno alla chiamata. Ma Jones ha offerto un duro promemoria di ciò che è in gioco: la prossima svolta su scala di trasformazione potrebbe essere proprio dietro l’angolo, e i ricercatori perseguiranno con la libertà di esplorare. Oppure potrebbe languire senza essere scoperto, mentre migliaia di ricercatori si affrettano a pubblicare i perfezionamenti incrementali dell’architettura di uno dei suoi creatori, come dice Jones. "Sono assolutamente stufo."
Dopotutto, lavora sui trasformatori da più tempo di quasi chiunque altro. Sapeva che era ora di andare avanti.
