Mistral entra nella robotica con Robostral Navigate, il suo primo modello pensato per la navigazione autonoma dei robot (embodied navigation). Si tratta di un modello da 8 miliardi di parametri capace di guidare un robot attraverso un ambiente partendo da due soli input: immagini RGB in tempo reale e un’istruzione in linguaggio naturale, del tipo “esci dalla hall, attraversa il corridoio, entra nel magazzino e fermati di fronte al secondo scaffale”.
Navigazione con una sola telecamera
Il dato più significativo riguarda l’hardware richiesto. Mentre i sistemi concorrenti si affidano tipicamente a sensori di profondità, LiDAR o configurazioni multi-camera, Robostral Navigate opera con un’unica telecamera RGB standard, senza alcun sensore di profondità. Nonostante questa impostazione più snella, il modello raggiunge il 76,6% di success rate sul benchmark R2R-CE (Room-to-Room in Continuous Environments) nella modalità “validation unseen”, ovvero su ambienti mai incontrati durante l’addestramento.
Questo risultato supera di 9,7 punti il miglior approccio basato su singola telecamera e di 4,5 punti il miglior sistema che invece utilizza sensori di profondità o più telecamere. Sulla modalità “validation seen” il modello arriva invece al 79,4%.
Tra le altre caratteristiche tecniche segnalate da Mistral: la capacità di funzionare su robot con ruote, gambe o ad ala rotante, la generalizzazione tra robot di dimensioni diverse, la robustezza a variazioni nei parametri intrinseci delle telecamere e un addestramento token-efficiente basato su prefix-caching.
Applicazioni
Mistral indica manifattura, delivery, logistica e ospitalità come i settori applicativi più immediati. L’obiettivo dichiarato è permettere a un robot di eseguire un’istruzione end-to-end in autonomia, muovendosi in spazi reali, popolati da persone e ostacoli mai visti durante l’addestramento, e adattandosi a contesti diversi come uffici, edifici residenziali e commerciali, o ambienti esterni.
Come funziona: navigazione per punti
Il cuore tecnico del modello è un meccanismo di navigazione “a puntamento”. Dato un compito e uno storico di osservazioni, Robostral Navigate predice il prossimo movimento indicando le coordinate del punto target direttamente nell’immagine ripresa dalla telecamera del robot, insieme all’orientamento desiderato all’arrivo. A differenza degli approcci basati su spostamenti metrici, questo metodo rende la policy naturalmente robusta ai cambiamenti nei parametri della telecamera e nella scala dell’ambiente.
Quando il punto target esce dal campo visivo corrente, il modello ricorre invece a spostamenti espressi nel sistema di riferimento locale del robot, ad esempio “avanza di 2 metri, spostati di 1,5 metri a sinistra e gira di 25 gradi a sinistra”.
Un modello costruito da zero
Mistral sottolinea che Robostral Navigate è stato sviluppato interamente in-house, senza basarsi su modelli visione-linguaggio open source esistenti. Il punto di partenza è il modello visione-linguaggio dell’azienda specializzato in compiti di grounding come puntamento, conteggio e localizzazione di oggetti: la navigazione nasce come estensione naturale di queste capacità, sul principio per cui comprendere dove si trovano le cose precede l’imparare a muoversi verso di esse.
Per l’addestramento, Mistral ha costruito una pipeline di generazione dati interamente in simulazione, che ha permesso di iterare rapidamente e di raccogliere circa 400.000 traiettorie distribuite su 6.000 scene.
Addestramento efficiente e reinforcement learning online
Il contributo più significativo del progetto riguarda il metodo di addestramento. I ricercatori combinano il prefix caching, che evita di ricalcolare più volte le stesse informazioni già elaborate, con un meccanismo di tree attention masking che controlla quali parti della sequenza possono essere utilizzate in ogni fase dell’apprendimento. In questo modo l’intero episodio viene trattato come un’unica sequenza: il modello apprende contemporaneamente da tutti i time step con un solo passaggio, senza che informazioni provenienti da istanti successivi “contaminino” l’apprendimento dei passaggi precedenti. L’effetto è un forte incremento dell’efficienza computazionale: rispetto a un addestramento tradizionale, che elabora ogni time step come un campione separato, il numero di token necessari si riduce di un fattore 22 mantenendo invariata la qualità del segnale di apprendimento. Secondo i ricercatori, questa ottimizzazione consente di ridurre cicli di addestramento che normalmente richiederebbero mesi a pochi giorni.
Dopo la fase di addestramento supervisionato, Mistral applica CISPO (Clipped Importance Sampling Policy Optimization), un algoritmo di reinforcement learning online sviluppato a partire dall’esperienza maturata dall’azienda nel post-training dei modelli linguistici di grandi dimensioni. Se il primo stadio insegna al modello a imitare gli esempi forniti durante l’addestramento, il reinforcement learning gli permette invece di migliorare attraverso tentativi, errori e ricompense, imparando a recuperare dai fallimenti e a esplorare strategie alternative. Questa fase serve soprattutto a ridurre il distribution shift, cioè lo scostamento tra i dati utilizzati durante l’addestramento e le situazioni che il modello incontra nell’utilizzo reale, un limite tipico del behavior cloning, che si basa esclusivamente sull’imitazione dei comportamenti osservati. Secondo Mistral, la sola applicazione di CISPO aumenta il success rate del modello del 3,2% e i risultati ottenuti non mostrano ancora segnali di saturazione, indicando un ulteriore margine di miglioramento.
I prossimi passi
Mistral definisce Robostral Navigate come un primo passo verso un unico agente robotico capace di più funzioni, in cui la navigazione rappresenta una capacità fondativa per la robotica general-purpose. L’azienda ha inoltre confermato di essere alla ricerca di ricercatori e ingegneri per ampliare il proprio team di robotica.
