Per Pachoki, è chiaro SÌ. Secondo lui, infatti, è solo questione di continuare sulla strada che abbiamo già intrapreso. Dicono che anche un modesto aumento delle capacità complessive consente ai modelli di lavorare per periodi di tempo più lunghi senza assistenza. Indica il salto dagli ultimi due modelli di OpenAI, dal GPT-3 del 2020 al GPT-4 del 2023. Dice che GPT-4 è stato in grado di lavorare su un problema per periodi di tempo molto più lunghi rispetto al suo predecessore, anche senza una formazione specifica.
I cosiddetti modelli logici hanno portato un altro boom. Formare gli LLM ad affrontare i problemi passo dopo passo, tornando indietro quando commettono un errore o raggiungono un punto morto, ha anche fatto sì che i modelli funzionassero meglio a lungo termine. E Pachocki è fiducioso che i modelli di ragionamento di OpenAI continueranno a migliorare.
Ma OpenAI sta addestrando i suoi sistemi a lavorare per periodi di tempo più lunghi fornendo loro campioni specifici di compiti complessi, come enigmi difficili presi da gare di matematica e di codifica, che costringe i modelli a imparare come fare cose come tenere traccia di pezzi di testo molto grandi e suddividere (e quindi gestire) i problemi in più sottoattività.
L’obiettivo non è creare modelli che si limitino a vincere gare di matematica. “Ciò consente di dimostrare che la tecnologia funziona prima ancora che si colleghi al mondo reale”, afferma Pachocki. “Se davvero lo volessimo, potremmo creare uno straordinario matematico automatizzato, abbiamo tutti gli strumenti e penso che sarebbe relativamente facile. Ma non è qualcosa a cui daremo la priorità in questo momento perché, sai, nel momento in cui sei sicuro di poterlo fare, ci sono cose molto più urgenti da fare.”
Ha aggiunto: “Ora ci stiamo concentrando maggiormente sulla ricerca rilevante nel mondo reale”.
In questo momento significa dare un’occhiata a cosa i codec (e strumenti simili) possono fare con la codifica e provare ad applicarli alla risoluzione dei problemi in generale. “Stiamo verificando un grande cambiamento, soprattutto nella programmazione”, afferma. “I nostri lavori sono completamente diversi ora rispetto a un anno fa. Nessuno modifica più il codice in continuazione. Invece, gestisci un gruppo di agenti del codice.” Se i codec possono risolvere problemi di codifica (la logica va bene), allora possono risolvere qualsiasi problema.
la linea sale sempre
È vero che OpenAI ha ottenuto notevoli successi negli ultimi mesi. I ricercatori hanno utilizzato GPT-5 (il LLM che alimenta il codice) per trovare nuove soluzioni a molti problemi matematici irrisolti e per superare apparenti impasse in alcuni enigmi di biologia, chimica e fisica.
“Vedere questi modelli elaborare idee che avrebbero richiesto la maggior parte delle settimane di dottorato mi dà almeno la speranza che vedremo una maggiore diffusione di questa tecnologia nel prossimo futuro”, afferma Pachocki.
