Il nuovo modello di ragionamento aperto TRM del ricercatore AI di Samsung supera i modelli 10.000 volte più grandi su determinati problemi

La tendenza dei ricercatori di intelligenza artificiale a sviluppare cose nuove, Piccolo I modelli generativi open source che hanno sovraperformato le controparti proprietarie molto più grandi sono continuati questa settimana con un altro sviluppo sorprendente.

Alexia Jolicoeur-MartineauRicercatore senior sull’intelligenza artificiale Istituto Avanzato di Tecnologia Samsung (SAIT) a Montreal, in Canada,​ avere Introdotto il modello di ricorsione minuscola (TRM) — una rete neurale sufficientemente piccola da contenere solo 7 milioni di parametri (impostazioni del modello interno) compete ancora o supera modelli linguistici all’avanguardia 10.000 volte più grandi in numero di parametri; o3-mini di OpenAI e Gemini 2.5 Pro di Google, Su alcuni dei criteri di giudizio più severi nella ricerca sull’intelligenza artificiale.

L’obiettivo è dimostrare che nuovi modelli di intelligenza artificiale ad altissime prestazioni possono essere costruiti in modo economicamente vantaggioso, senza grandi investimenti in unità di elaborazione grafica (GPU) e senza la potenza necessaria per addestrare i modelli di punta più grandi, con migliaia di miliardi di parametri, che alimentano oggi molti chatbot LLM. I risultati sono stati descritti in un documento di ricerca pubblicato sul sito ad accesso aperto arxiv.org: "Meno è meglio: ragionamento ricorsivo con piccole reti."

"L’idea che per risolvere compiti difficili sia necessario fare affidamento su enormi modelli di base formati per milioni di dollari da una grande azienda è una trappola." Jolicoeur-Martineau ha scritto: rete sociale. "Attualmente ci si concentra troppo sullo sfruttamento dei Maestri piuttosto che sulla progettazione e l’espansione di nuove linee di direzione."

Jolicoeur-Martineau ha aggiunto: "Dal ragionamento ricorsivo risulta che “meno è meglio”. Un piccolo modello pre-addestrato da zero, che si ripete e aggiorna le sue risposte nel tempo può ottenere molto senza spendere una fortuna."

Il codice di TRM è ora disponibile girub è coperto da una licenza MIT di facile utilizzo e commercialmente valida; Ciò significa che chiunque, dai ricercatori alle aziende, può ottenerlo, modificarlo e distribuirlo per i propri scopi, anche per applicazioni commerciali.

Un grande avvertimento

Tuttavia, i lettori dovrebbero sapere che TRM è specificamente progettato per funzionare bene su problemi strutturati, visivi e basati su griglie come Sudoku, labirinti e cruciverba. Confronto ARC (Abstract and Reasoning Corpus)-AGIil secondo presenta compiti facili per gli esseri umani ma difficili per i modelli di intelligenza artificiale; come l’ordinamento dei colori su una griglia basata su una soluzione precedente ma non identica.

Dalla gerarchia alla semplicità

L’architettura TRM rappresenta una radicale semplificazione.

Si basa su una tecnica chiamata . Modello di ragionamento gerarchico (HRM) Questa applicazione, introdotta all’inizio di quest’anno, ha dimostrato che piccole reti possono risolvere enigmi logici come Sudoku e labirinti.

L’HRM si basava su due reti cooperanti, una operante ad alta frequenza e l’altra a bassa frequenza, supportate da argomentazioni di ispirazione biologica e giustificazioni matematiche che includevano teoremi di punto fisso. Jolicoeur-Martineau trovò la cosa inutilmente complicata.

TRM elimina questi elementi. Una invece di due reti modello unico a due strati questo affina iterativamente le sue previsioni.

Il modello inizia con una domanda incorporata e una risposta iniziale rappresentata da variabili. X, VoiE z. Aggiorna la sua rappresentazione segreta interna attraverso una serie di passaggi di ragionamento. z e perfeziona la risposta Voi finché non si avvicina a un output stabile. Ogni iterazione corregge possibili errori nel passaggio precedente, fornendo un processo di ragionamento di auto-miglioramento senza gerarchia aggiuntiva o sovraccarico matematico.

Come funziona la scala dello spostamento della ricorsione?

L’idea di base alla base del TRM è questa: la ricorsione può sostituire profondità e dimensione.

Ragionando in modo iterativo sul proprio output, la rete simula efficacemente un’architettura molto più profonda senza la memoria associata o il costo computazionale. Questo ciclo ricorsivo di sedici passaggi di ispezione consente al modello di fare previsioni sempre migliori; simile a come i modelli linguistici di grandi dimensioni utilizzano il ragionamento a “catena di pensiero” in più fasi, ma qui ottenuto con un design compatto e anticipato.

La semplicità ripaga sia in termini di efficienza che di generalizzazione. Il modello utilizza meno livelli, nessuna approssimazione di punto fisso e nessuna gerarchia di rete binaria. Leggero meccanismo di arresto Decidendo quando interrompere il perfezionamento, si prevengono gli sprechi computazionali mantenendo l’accuratezza.

Prestazioni che superano il suo peso

Nonostante il suo ingombro ridotto, TRM fornisce risultati di riferimento che competono o superano modelli milioni di volte più grandi. Nei test, il modello ha ottenuto:

• Precisione dell’87,4%. Aprire Sudoku estremo (rispetto al 55% per la gestione delle risorse umane)

• Precisione dell’85%. Aprire Labirinto-Difficile puzzle

• Precisione del 45%. Aprire ARC-AGI-1

• Precisione dell’8%. Aprire ARC-AGI-2

Questi risultati superano o corrispondono strettamente alle prestazioni di diversi modelli linguistici di alto livello, tra cui: DeepSeek R1, Gemelli 2.5 ProE o3-miniAnche se utilizza meno dello 0,01% dei parametri di TRM.

Tali risultati suggeriscono che il ragionamento iterativo, e non la scala, potrebbe essere la chiave per affrontare problemi di ragionamento astratto e combinatorio, aree in cui anche i modelli generativi di alto livello spesso inciampano.

Filosofia del design: meno è meglio

Il successo di TRM deriva da un deliberato minimalismo. Jolicoeur-Martineau ha scoperto che la riduzione della complessità porta a una migliore generalizzazione.

Quando il ricercatore ha aumentato il numero di livelli o le dimensioni del modello, le prestazioni sono diminuite a causa dell’adattamento eccessivo a set di dati di piccole dimensioni.

Al contrario, la struttura a due strati combinata con profondità ricorsiva e verifica approfonditaottenuto risultati ottimali.

Il modello ha funzionato meglio anche quando l’attenzione verso se stessi è stata sostituita da qualcos’altro. percettrone multistrato più semplice In attività con contesti piccoli e fissi, come il Sudoku.

Per le griglie più grandi, come i puzzle ARC, l’attenzione personale è rimasta preziosa. Questi risultati sottolineano che l’architettura del modello dovrebbe corrispondere alla struttura e alla scala dei dati, anziché corrispondere alla capacità massima per impostazione predefinita.

Piccola educazione, grande pensiero

TRM è ora ufficialmente disponibile come: Open source su licenza MIT Aprire girub.

Il repository include script completi di formazione e valutazione, generatori di set di dati per Sudoku, Maze e ARC-AGI e configurazioni di riferimento per la riproduzione dei risultati pubblicati.

Documenta inoltre i requisiti di elaborazione che vanno da una singola GPU NVIDIA L40S per l’addestramento al Sudoku alle configurazioni multi-GPU H100 per gli esperimenti ARC-AGI.

La versione aperta conferma che TRM è stato progettato specificamente compiti di ragionamento strutturati e basati su griglie piuttosto che una modellazione linguistica di scopo generale.

Ogni benchmark (Sudoku-Extreme, Maze-Hard e ARC-AGI) utilizza griglie di input-output piccole e ben definite in conformità con il processo di ispezione ricorsiva del modello.

La formazione comporta un significativo aumento dei dati (come permutazioni di colore e trasformazioni geometriche), sottolineando che l’efficienza del TRM risiede nella dimensione dei parametri piuttosto che nella domanda di elaborazione totale.

La semplicità e la trasparenza del modello lo rendono più accessibile ai ricercatori al di fuori dei grandi laboratori aziendali. La base di codice si basa direttamente sul precedente framework del modello di ragionamento gerarchico, ma elimina le analogie biologiche dell’HRM, le gerarchie di rete multiple e le dipendenze a virgola fissa.

In tal modo, TRM fornisce una base riproducibile per esplorare il ragionamento ricorsivo in piccoli modelli; un contrappunto alla filosofia dominante “tutto ciò di cui hai bisogno è la scala”.

Risposta della comunità

Il rilascio di TRM e del suo codice open source ha immediatamente acceso un dibattito su X tra i ricercatori e i professionisti dell’intelligenza artificiale. Mentre molti ne hanno elogiato il successo, altri si sono chiesti quanto ampiamente i loro metodi potessero essere generalizzati.

I sostenitori hanno elogiato il TRM come prova che i modelli più piccoli possono sovraperformare i giganti, definendolo “10.000 volte più piccolo ma più intelligente” e un potenziale passo avanti verso architetture che pensano piuttosto che limitarsi a scalare.

I critici hanno notato che il TRM aveva una portata ristretta e focalizzata. puzzle limitati e basati su griglia – e che i risparmi in termini di elaborazione derivano principalmente dalle dimensioni, non dal tempo di esecuzione totale.

Ricercatore Yun Min Cha Ha notato che l’addestramento del TRM si basa su forti potenziamenti e passaggi ricorsivi, “più calcoli, stesso modello”.

Genetista del cancro e scienziato dei dati Chey Love Day Ha sottolineato che il TRM è uno solventenon è un modello conversazionale o un generatore di testo: eccelle nel ragionamento strutturato ma non è un linguaggio aperto.

ricercatore di apprendimento automatico Sebastiano Raschka Ha posizionato il TRM come una significativa semplificazione della gestione delle risorse umane piuttosto che come una nuova forma di intelligenza generale.

Ha descritto il suo processo come “un ciclo in due fasi che aggiorna uno stato interno di ragionamento, quindi affina la risposta”.

Molti ricercatori inclusi Agostino Nabelehanno concordato che la forza del modello risiede nella sua struttura di ragionamento esplicita, ma hanno osservato che gli studi futuri dovrebbero dimostrare il trasferimento a tipi di problemi meno vincolati.

Il consenso emergente online è che il TRM può avere una portata ristretta, ma il suo messaggio è ampio: un’attenta iterazione, non un’espansione costante, può guidare la prossima ondata di ricerca ragionata.

In attesa

Sebbene il TRM sia attualmente valido per compiti di ragionamento supervisionato, la sua struttura ricorsiva apre molte direzioni future. Jolicoeur-Martineau ha suggerito di esplorare tipi di risposta generativa o multiplaIl modello può generare più soluzioni possibili anziché un’unica soluzione deterministica.

Un’altra questione aperta riguarda le leggi di scala per la ricorsione; per determinare fino a che punto il principio “less is more” può estendersi all’aumentare della complessità del modello o della dimensione dei dati.

In definitiva, lo studio offre sia uno strumento pratico che un promemoria concettuale: i progressi nell’intelligenza artificiale non devono necessariamente dipendere da modelli sempre più grandi. A volte insegnare a una piccola rete a pensare in modo attento e iterativo può essere più efficace che far sì che una grande rete pensi una volta sola.

Collegamento alla fonte