Alla GTC, NVIDIA ha annunciato una serie di tecnologie per potenziare lo sviluppo di robot umanoidi, fra cui NVIDIA Isaac GR00T N1, che l’azienda presenta come il primo modello di base aperto e completamente personalizzabile al mondo per il ragionamento e le abilità generalizzate degli umanoidi.
Le altre tecnologie includono framework di simulazione e blueprint come NVIDIA Isaac GR00T Blueprint per la generazione di dati sintetici, nonché Newton, un motore fisico open-source – in fase di sviluppo con Google DeepMind e Disney Research – creato appositamente per lo sviluppo di robot.
Disponibile da subito, GR00T N1 è il primo di una famiglia di modelli completamente customizzabili che NVIDIA preparerà e rilascerà per gli sviluppatori di robotica di tutto il mondo, accelerando la trasformazione dei settori sfidati da una carenza di manodopera globale stimata in oltre 50 milioni di persone, sottolinea l’azienda.
“L’era della robotica generalista è arrivata“, ha dichiarato Jensen Huang, fondatore e CEO di NVIDIA. “Grazie a NVIDIA Isaac GR00T N1 e ai nuovi framework per la generazione di dati e l’apprendimento dei robot, gli sviluppatori di robotica di tutto il mondo potranno aprire la prossima frontiera dell’era dell’IA“.
Il modello di base GR00T N1 presenta un’architettura a doppio sistema, ispirata ai principi della cognizione umana. Il “Sistema 1” è un modello di azione fast-thinking, che rispecchia i riflessi o l’intuizione umana. Il “Sistema 2” è un modello slow-thinking per un processo decisionale deliberato e metodico.
Grazie a un modello vision-language, il Sistema 2 ragiona sull’ambiente e sulle istruzioni ricevute per pianificare le azioni. Il Sistema 1 traduce poi questi piani in movimenti robotici precisi e continui. Il sistema 1 è addestrato su dati dimostrativi umani e su un’enorme quantità di dati sintetici generati dalla piattaforma NVIDIA Omniverse.
GR00T N1 – spiega NVIDIA – è in grado di generalizzare facilmente i compiti più comuni – come afferrare, spostare oggetti con uno o entrambi i bracci e trasferire oggetti da un braccio all’altro – o di eseguire compiti multistep che richiedono un lungo contesto e combinazioni di abilità generali. Queste capacità possono essere applicate a casi d’uso quali la movimentazione dei materiali, l’imballaggio e l’ispezione.
Gli sviluppatori e i ricercatori possono addestrare in post-training GR00T N1 con dati reali o sintetici per il loro specifico robot umanoide o compito.
Nel suo keynote alla GTC, Huang ha mostrato un robot umanoide di 1X che svolge autonomamente attività di riordino domestico utilizzando una policy post-training basata su GR00T N1. Le capacità autonome del robot sono il risultato di una collaborazione per l’addestramento dell’intelligenza artificiale fra 1X e NVIDIA.
“Il futuro degli umanoidi si basa sull’adattabilità e sull’apprendimento“, ha dichiarato Bernt Børnich, CEO di 1X Technologies. “Anche se sviluppiamo i nostri modelli, GR00T N1 di NVIDIA offre una spinta significativa al ragionamento e alle capacità dei robot. Con un minimo di dati di post-training , abbiamo implementato completamente NEO Gamma, portando avanti la nostra missione di creare robot che non siano solo strumenti, ma compagni in grado di assistere gli esseri umani in modi significativi e incommensurabili“.
Tra gli altri sviluppatori di umanoidi leader a livello mondiale che hanno avuto accesso anticipato a GR00T N1 ci sono Agility Robotics, Boston Dynamics, Mentee Robotics e NEURA Robotics.
NVIDIA ha inoltre annunciato una collaborazione con Google DeepMind e Disney Research per sviluppare Newton, un motore fisico open-source che consente ai robot di imparare a gestire compiti complessi con maggiore precisione.
Realizzato sulla base del framework NVIDIA Warp, Newton sarà ottimizzato per l’apprendimento dei robot e compatibile con framework di simulazione come MuJoCo di Google DeepMind e NVIDIA Isaac Lab. Inoltre, le tre aziende intendono abilitare Newton a utilizzare il motore fisico di Disney.
Google DeepMind e NVIDIA stanno collaborando allo sviluppo di MuJoCo-Warp, che dovrebbe accelerare i carichi di lavoro di apprendimento automatico della robotica di oltre 70 volte e sarà disponibile per gli sviluppatori attraverso la libreria open-source MJX di Google DeepMind, oltre che attraverso Newton.
Disney Research sarà una delle prime a utilizzare Newton per far progredire la sua piattaforma di personaggi robotici che alimenta i robot da intrattenimento di prossima generazione, come i droidi BDX ispirati a Star Wars che hanno raggiunto Huang sul palco durante il suo keynote alla GTC.
“I droidi BDX sono solo l’inizio. Siamo impegnati a dare vita a un numero sempre maggiore di personaggi in modi che il mondo non ha mai visto prima e questa collaborazione tra Disney Research, NVIDIA e Google DeepMind è una parte fondamentale di questa visione“, ha dichiarato Kyle Laughlin, Senior Vice President di Walt Disney Imagineering Research & Development. “Questa collaborazione ci permetterà di creare una nuova generazione di personaggi robotici più espressivi e coinvolgenti che mai, e di entrare in contatto con i nostri ospiti in modi che solo Disney può fare.”
NVIDIA e Disney Research, insieme a Intrinsic, hanno annunciato un’ulteriore collaborazione per la creazione di pipeline OpenUSD e di best practice per i workflow dei dati robotici.
Per lo sviluppo dei robot – sottolinea NVIDIA – sono fondamentali set di dati ampi, diversificati e di alta qualità, ma costosi da acquisire. Per gli umanoidi, i dati sulle dimostrazioni umane del mondo reale sono limitati dalle 24 ore giornaliere di una persona.
Annunciato anch’esso alla GTC, il Blueprint NVIDIA Isaac GR00T per la generazione di movimenti di manipolazione sintetici aiuta a risolvere questa sfida. Basato sui modelli di base del mondo di Omniverse e NVIDIA Cosmos Transfer, il blueprint consente agli sviluppatori di generare quantità esponenzialmente elevate di dati di movimento sintetici per le attività di manipolazione a partire da un numero ridotto di dimostrazioni umane.
Utilizzando i primi componenti disponibili per il blueprint, NVIDIA ha generato 780.000 traiettorie sintetiche – l’equivalente di 6.500 ore, o nove mesi continui, di dati di dimostrazioni umane – in sole 11 ore. Quindi, combinando i dati sintetici con quelli reali, NVIDIA ha migliorato le prestazioni di GR00T N1 del 40% rispetto all’utilizzo dei soli dati reali.
Per dotare ulteriormente la comunità degli sviluppatori di preziosi dati di addestramento, NVIDIA sta rilasciando il dataset di GR00T N1 come parte di un più ampio dataset di AI fisica open-source – anch’esso annunciato al GTC e ora disponibile su Hugging Face.
I dati di addestramento e gli scenari di valutazione dei task di NVIDIA GR00T N1 sono ora disponibili per il download da Hugging Face e GitHub. Anche il Blueprint di NVIDIA Isaac GR00T per la generazione di movimenti di manipolazione sintetica è ora disponibile come demo interattiva su build.nvidia.com o da scaricare da GitHub.
Il supercomputer personale di intelligenza artificiale NVIDIA DGX Spark, anch’esso annunciato alla GTC, offre agli sviluppatori un sistema chiavi in mano per espandere le capacità di GR00T N1 a nuovi robot, compiti e ambienti senza dover ricorrere a una programmazione personalizzata.
Il motore fisico Newton dovrebbe essere disponibile nel corso dell’anno.
