Un team di ricercatori guidato da Nvidia è stato rilasciato DreamDojoUn nuovo sistema di intelligenza artificiale progettato per insegnare ai robot come interagire con il mondo fisico guardando decine di migliaia di ore di video umani; uno sviluppo che potrebbe ridurre significativamente i tempi e i costi necessari per addestrare la prossima generazione di macchine umanoidi.
ricercapubblicato questo mese e presenta collaboratori UC Berkeley, a Stanford, Università del Texas ad Austine molte altre istituzioni stanno promuovendo ciò che il team chiama "Il primo modello mondiale di robot nel suo genere in grado di dimostrare forti generalizzazioni a una varietà di oggetti e ambienti dopo l’addestramento."
essenzialmente DreamDojo Questo è ciò che descrivono i ricercatori "un set di dati video su larga scala" compreso "44mila ore di vari video incentrati sull’uomo; Il set di dati più grande fino ad oggi per il pre-addestramento del modello mondiale." chiamato set di dati DreamDojo-HVè un drammatico salto di scala – "15 volte più lungo, 96 volte più competenze e 2.000 volte più scene rispetto al precedente set di dati più grande per la formazione su modelli mondiali" secondo la documentazione di progetto.
All’interno del sistema di addestramento in due fasi che insegna ai robot a vedere come gli esseri umani
Il sistema funziona in due fasi diverse. Primo, DreamDojo "Acquisisce una conoscenza fisica completa da set di dati umani su larga scala pre-addestramento con azioni segrete." Si ferma più tardi "post-addestramento sulla manipolazione del bersaglio con azioni continue del robot." – essenzialmente imparare la fisica generale osservando le persone, quindi perfezionare tale conoscenza per l’hardware specifico del robot.
Per le aziende che prendono in considerazione i robot umanoidi, questo approccio risolve un ostinato collo di bottiglia. Insegnare a un robot a manipolare oggetti in ambienti non strutturati richiede tradizionalmente enormi quantità di dati di visualizzazione specifici del robot; La raccolta di questi dati è costosa e richiede tempo. DreamDojo Elimina questo problema sfruttando i video umani esistenti, consentendo ai robot di imparare dalle osservazioni prima di toccare un oggetto fisico.
Una delle scoperte tecniche è la velocità. I ricercatori lo hanno ottenuto attraverso un processo di distillazione "Interazioni in tempo reale a 10 FPS per oltre 1 minuto" — una capacità che consente applicazioni pratiche come la teleoperazione in tempo reale e la pianificazione al volo. Il team ha dimostrato che il sistema funziona su più piattaforme robotiche. GR-1, G1, AgiBotE patata dolce i robot umanoidi mostrano quello che dicono "presentazioni realistiche e basate sull’azione" contro "un’ampia varietà di ambienti e interazioni con gli oggetti."
Perché Nvidia sta investendo molto nella robotica mentre la spesa per le infrastrutture AI aumenta?
Questa versione arriva in un momento cruciale per le ambizioni di Nvidia nel campo della robotica e per il settore dell’intelligenza artificiale in generale. in quello Forum economico mondiale Il mese scorso a Davos, il CEO Jensen Huang ha affermato che l’intelligenza artificiale robotica "una volta in una generazione" È un’opportunità soprattutto per le regioni con forti basi produttive. Di conseguenza tempi digitaliHuang ha anche detto che il prossimo decennio "È un periodo critico di sviluppo accelerato per la tecnologia robotica."
I rischi finanziari sono enormi. Huang ha detto alla CNBC "Resoconto dell’intervallo" Il 6 febbraio, l’industria tecnologica ha segnalato che le spese in conto capitale da parte dei principali hyperscaler potrebbero raggiungere quest’anno i 660 miliardi di dollari. "giustificato, appropriato e sostenibile." Ha descritto il momento attuale in questo modo: "La più grande costruzione infrastrutturale della storia umana," Aziende come Meta, Amazon, Google e Microsoft stanno aumentando in modo significativo la spesa per l’intelligenza artificiale.
Questo spostamento delle infrastrutture sta già rimodellando il panorama della robotica. Le startup della robotica hanno battuto i record 26,5 miliardi di dollari nel 2025Secondo i dati di Dealroom. I giganti industriali europei Siemens, Mercedes-BenzE Volvo Annunciando la loro partnership nel campo della robotica lo scorso anno, il CEO di Tesla Elon Musk ha affermato: 80 per cento Gran parte del valore futuro della sua azienda deriverà dai robot umanoidi Optimus.
In che modo DreamDojo può trasformare l’implementazione e il test dei robot aziendali?
Per i decisori tecnici che valutano i robot umanoidi, il valore più immediato di DreamDojo potrebbe risiedere nelle sue capacità di simulazione. I ricercatori sottolineano le sotto-applicazioni, tra cui: "Implementazione nel mondo reale e valutazione affidabile delle policy senza pianificazione basata su modelli per migliorare i tempi di test" — capacità che consentono alle aziende di simulare in modo completo il comportamento dei robot prima di intraprendere costose prove fisiche.
Questo è importante perché la differenza tra le dimostrazioni di laboratorio e quelle in fabbrica è ancora netta. Un robot che funziona perfettamente in condizioni controllate spesso deve affrontare cambiamenti imprevedibili degli ambienti del mondo reale (illuminazione diversa, oggetti non familiari, ostacoli imprevisti). Attraverso la formazione su 44.000 ore di video umani diversi che coprono migliaia di scene e quasi 100 abilità diverse, DreamDojo mira a costruire il tipo di intuizione fisica generale che rende i robot adattabili, non fragili.
Gruppo di ricerca guidato da Linxi "Jim" I co-primi autori Shenyuan Gao e William Liang, insieme a Fan, Joel Jang e Yuke Zhu, hanno dichiarato che il codice sarà rilasciato pubblicamente, sebbene non sia stata specificata una sequenza temporale.
Il quadro generale: la trasformazione di Nvidia da gigante dei videogiochi a potenza della robotica
uno dei due DreamDojo resta da vedere la sua evoluzione in prodotti robotici commerciali. Ma la ricerca mostra dove stanno andando le ambizioni di Nvidia; L’azienda si sta posizionando sempre più oltre le sue radici di gioco. Come Kyle Barr ha osservato su Gizmodo All’inizio di questo mese, Nvidia sta ora effettuando l’imaging "tutto ciò che riguarda i giochi e il “personal computer”" Piace "Valori anomali nei fogli di calcolo trimestrali di Nvidia."
Questo cambiamento riflette una scommessa calcolata: il futuro dell’informatica sarà fisico, non solo digitale. Nvidia ha già investito 10 miliardi di dollari in Antropik e ha segnalato i piani di OpenAI di investire massicciamente nella prossima tornata di finanziamenti. DreamDojo suggerisce che l’azienda vede i robot umanoidi come la prossima frontiera in cui possono convergere l’esperienza dell’intelligenza artificiale e il dominio dei chip.
Per ora, le 44.000 ore di video umani nel cuore di DreamDojo rappresentano qualcosa di più fondamentale di un punto di riferimento tecnico. Rappresentano una teoria secondo cui i robot possono imparare a navigare nel nostro mondo osservandoci mentre viviamo in esso. Si scopre che le macchine prendono appunti.
