Quando un agente AI lavora per ore, gran parte delle sue risorse viene assorbita da operazioni ricorrenti come chiamare strumenti, controllare i risultati, interrogare servizi, formattare dati e coordinare agenti secondari. Affidare ogni passaggio a un modello di frontiera aumenta la latenza e il consumo di risorse, soprattutto nei workflow che generano decine o centinaia di richieste consecutive.
NVIDIA Nemotron 3.5 Lightning è stato sviluppato per gestire questo livello esecutivo. Il nuovo modello open weights adotta un’architettura Mixture-of-Experts da 30 miliardi di parametri, dei quali 3 miliardi vengono attivati per elaborare ciascun token: un sistema di instradamento seleziona gli esperti più adatti alla richiesta, contenendo così il carico computazionale.
Lightning è il modello più piccolo della famiglia Nemotron 3 e si occupa delle attività ad alta frequenza prodotte dai sistemi agentici, comprese le chiamate agli strumenti, la validazione degli output e la generazione di risultati strutturati.
NVIDIA lo ha preparato per agent harness come OpenClaw e Hermes Agent, mentre lo stack aperto NVIDIA NemoClaw fornisce gli strumenti di sicurezza e gestione destinati agli agenti attivi per lunghi periodi.
La pianificazione e l’esecuzione passano a modelli diversi
L’architettura delineata da NVIDIA distribuisce il lavoro tra componenti specializzati. Un modello di frontiera può analizzare la richiesta, costruire il piano e gestire i passaggi che richiedono un ragionamento avanzato; Nemotron 3.5 Lightning riceve quindi le operazioni ricorrenti generate da quel piano e le porta a termine con un impiego più contenuto di risorse.
La distribuzione viene gestita da NVIDIA NeMo Switchyard, una libreria aperta che instrada ogni richiesta verso il modello più adatto. Switchyard può coordinare modelli aperti e servizi proprietari all’interno dello stesso sistema, assegnando pianificazione, esecuzione e controllo a componenti differenti in base alla complessità del passaggio.
Questa organizzazione assume particolare rilievo nei workflow di lunga durata, perché la riduzione del costo e della latenza di una singola chiamata si moltiplica lungo l’intera sequenza. Il vantaggio deriva quindi sia dalla velocità di Lightning sia dalla possibilità di riservare i modelli più grandi ai momenti in cui la loro capacità di ragionamento produce un beneficio concreto.
Fino a quattro volte più veloce nella generazione
Nemotron 3.5 Lightning raggiunge una velocità di generazione fino a quattro volte superiore a quella di modelli di dimensioni analoghe e si colloca sulla frontiera di Pareto dell’Artificial Analysis Intelligence Index. L’indice riunisce nove valutazioni dedicate a programmazione, ragionamento scientifico, uso degli strumenti e capacità agentiche.
Per valutare il lavoro svolto dagli agenti, NVIDIA ha affiancato alla velocità di generazione il tempo necessario a completare una sequenza di attività. Su PinchBench, Lightning ha raggiunto circa l’86% di accuratezza completando 10.000 operazioni il 30% più velocemente di Qwen3.6 35B, con un livello di accuratezza simile.
Negli altri benchmark, il modello raggiunge il 51,56% su SWE-bench Verified, il 39,33% su SWE-bench Multilingual e l’81,94% su MMLU-Pro. NVIDIA ha raccolto in NeMo Gym e NeMo Evaluator le configurazioni, i prompt, i parametri di inferenza e i criteri di valutazione impiegati per ottenere questi punteggi.
Un’architettura ibrida con una finestra di contesto fino a un milione di token
Per conciliare capacità e velocità, Nemotron 3.5 Lightning combina Mamba-2, un’architettura che elabora lunghe sequenze attraverso uno stato compatto, livelli Mixture-of-Experts e livelli di attenzione Transformer. Il modello è stato preaddestrato su oltre 20.000 miliardi di token e può gestire una finestra di contesto massima di un milione di token, una caratteristica utile per gli agenti che devono conservare istruzioni, documenti e risultati intermedi durante esecuzioni prolungate.
Le lingue indicate per l’utilizzo comprendono italiano, inglese, spagnolo, francese, tedesco e giapponese, insieme ai linguaggi di programmazione. Il corpus di preaddestramento presenta una copertura più ampia, estesa complessivamente a 20 lingue parlate e 43 linguaggi di programmazione.
NVIDIA ha sottoposto Lightning a un addestramento ottimizzato per gli agent harness, così da migliorare la precisione delle chiamate agli strumenti e ridurre la latenza delle operazioni ad alto volume. Il post-training ha incluso reinforcement learning in ambienti dedicati a matematica, programmazione, scienza, rispetto delle istruzioni, uso degli strumenti, conversazioni multi-turno e produzione di output strutturati.
L’efficienza dell’inferenza viene rafforzata dalla speculative decoding, che prepara gruppi di token candidati e li sottopone alla verifica del modello principale. Se più candidati vengono accettati nello stesso passaggio, la risposta avanza più rapidamente rispetto alla generazione sequenziale di un solo token alla volta.
Questa tecnica è integrata nell’addestramento attraverso la Multi-Token Prediction, che insegna al modello a prevedere più token futuri per ogni posizione. Lightning viene distribuito anche con DSpark, configurato per DGX Spark e per i carichi data center con poca concorrenza, e con DFlash, che offre un’altra strategia di generazione speculativa. Nei servizi con concorrenza media o alta, NVIDIA indica la Multi-Token Prediction integrata come configurazione di riferimento.
Dalle GPU locali ai data center
Nemotron 3.5 Lightning è disponibile attraverso checkpoint BF16 e NVFP4. Il formato NVFP4 utilizza una rappresentazione numerica a quattro bit per ridurre la memoria e la potenza di calcolo richieste dall’inferenza, rendendo il modello più adatto alle esecuzioni locali e ai servizi con un elevato numero di richieste.
Le configurazioni hardware riportate da NVIDIA comprendono Blackwell, Hopper con NVFP4 o W4A16 e Ampere con W4A16. La precisione utilizzabile dipende quindi dall’architettura della GPU e dal motore scelto per eseguire il modello.
Grazie alle dimensioni contenute dei parametri attivi e alla quantizzazione, Lightning può funzionare su Jetson, GeForce RTX 5090, DGX Spark e infrastrutture data center. Gli sviluppatori possono eseguirlo attraverso LM Studio, llama.cpp, Ollama e Unsloth oppure integrarlo nei servizi basati su vLLM, SGLang e TensorRT-LLM.
I pesi e gli altri materiali pubblicati da NVIDIA sono distribuiti con la licenza permissiva OpenMDW 1.1, che ne consente l’uso, la modifica e la redistribuzione, anche commerciale, a condizione di conservare il testo della licenza e gli avvisi di provenienza. La licenza non impone vincoli sugli output generati dal modello. NeMo AutoModel e NeMo Megatron Bridge supportano LoRA e il fine-tuning completo, mentre NeMo RL e NeMo Gym forniscono gli ambienti per il reinforcement learning, le simulazioni e le valutazioni.
Tra i materiali pubblicati insieme al modello figura Nemotron-RL Agentic Terminal Pivot, un dataset aperto impiegato per sviluppare parte delle capacità di programmazione agentica di Lightning.
Download, API e strumenti di distribuzione
Nemotron 3.5 Lightning può essere utilizzato tramite build.nvidia.com e OpenRouter; il checkpoint NVFP4 è disponibile per il download su Hugging Face.
Il cookbook di Nemotron 3.5 Lightning raccoglie le configurazioni per l’esecuzione locale e nei data center, il fine-tuning e l’integrazione con i principali motori di inferenza. Insieme a NeMo Switchyard, questi strumenti permettono di costruire sistemi nei quali pianificazione, ragionamento ed esecuzione vengono distribuiti tra modelli differenti, scegliendo per ogni passaggio il livello di capacità e il costo computazionale più adatti.
