NVIDIA Groq 3 LPX è ora in piena produzione. NVIDIA lo ha comunicato in occasione di Hot Chips 2026, il simposio dedicato ai processori e alle architetture ad alte prestazioni che si svolge dal 23 al 25 agosto alla Stanford University, in California. Il sistema era stato presentato al GTC nel marzo 2026.
Il nome richiede una distinzione. Groq è un’azienda statunitense specializzata nei processori e nei servizi cloud per l’inferenza AI. Nel dicembre 2025 ha concesso a NVIDIA una licenza non esclusiva sulla propria tecnologia di inferenza; il fondatore Jonathan Ross, il presidente Sunny Madra e altri membri del gruppo sono passati a NVIDIA, ma Groq ha continuato a operare come società indipendente.
NVIDIA Groq 3 LPX è un sistema di accelerazione dell’inferenza su scala rack costruito su quella base tecnologica. Riunisce processori Language Processing Unit (LPU), progettati per eseguire l’inferenza con bassa latenza e tempi prevedibili. È un componente hardware della piattaforma Vera Rubin destinato alle applicazioni nelle quali la rapidità di risposta condiziona il lavoro degli agenti AI.
Perché gli agenti AI hanno bisogno di generare token più velocemente
Un chatbot produce normalmente una risposta dopo una singola richiesta. Un agente può invece attraversare centinaia o migliaia di passaggi di inferenza: legge file, interroga strumenti, scrive ed esegue codice, controlla i risultati e corregge il proprio lavoro. La latenza di ciascun passaggio si accumula e può trasformare una differenza di pochi secondi in attese molto più lunghe sull’intero compito.
L’inferenza comprende due fasi: il prefill elabora il prompt e il contesto, mentre il decode genera l’output token dopo token. All’interno della piattaforma, Vera Rubin NVL72 gestisce i carichi più generali di training, ragionamento e inferenza; Groq 3 LPX accelera il decode. NVIDIA può così disaggregare le due fasi tra GPU Rubin e processori LPU, distribuire parti differenti del modello o ricorrere a tecniche di generazione speculativa. LPX opera quindi come componente complementare della stessa AI factory.
Il benchmark con Gemma 4 31B
Nel primo benchmark di terze parti pubblicato per NVIDIA Groq 3 LPX, Artificial Analysis ha misurato con Gemma 4 31B 3.382 token al secondo e 10.000 token di contesto. Portando il contesto in ingresso a 100.000 token, dieci volte tanto, la velocità è rimasta sostanzialmente invariata e ha raggiunto 3.431 token al secondo: uno scarto di appena l’1,5%. I controlli effettuati da Artificial Analysis e NVIDIA non hanno rilevato perdite nella precisione o nella qualità del modello.
Nella prova con 100.000 token, il più veloce endpoint pubblico riportato nei risultati tecnici di NVIDIA si è fermato a 870 token al secondo. Groq 3 LPX è risultato quasi quattro volte più veloce: per generare 5.000 token impiegherebbe circa 1,5 secondi anziché 5,7, con oltre quattro secondi di attesa in meno per ogni risposta di quella lunghezza.
Nel benchmark open source SPEED-Bench, dedicato alla programmazione, Groq 3 LPX ha raggiunto una mediana di 4.767 token al secondo, sufficiente a generare 5.000 token in poco più di un secondo. In un problema su cinque ha superato i 5.500 token al secondo, portando lo stesso volume di output sotto il secondo.
Le misure descrivono però soprattutto l’interattività per singolo utente, non da sole la capacità complessiva di servire molti utenti contemporaneamente. Throughput aggregato, costo e consumi dipenderanno dalla configurazione adottata e dai modelli eseguiti.
Un rack specializzato dentro Vera Rubin
Groq 3 LPX fa parte della piattaforma Vera Rubin, costruita da NVIDIA attorno a più sistemi specializzati. Il rack LPX collega 256 processori LPU attraverso 640 TB/s di banda scale-up e mette a disposizione 128 GB di SRAM integrata, secondo le specifiche tecniche pubblicate da NVIDIA. L’effetto cercato è far lavorare l’intero rack come un solo motore di inferenza, riducendo le attese per lo spostamento dei dati e mantenendo prevedibile la latenza anche con molti processori coordinati. Per gli agenti conta infatti la rapidità della singola sequenza, non soltanto il volume complessivo di token elaborato dall’infrastruttura.
Nebius sarà il primo cloud AI a utilizzare Groq 3 LPX
Nebius prevede di integrare l’acceleratore in Nebius Token Factory, il proprio servizio di inferenza per modelli aperti. La piattaforma espone API compatibili con OpenAI e consente di passare dagli endpoint condivisi a installazioni dedicate, con funzioni di autoscaling e instradamento sensibile alla cache. Per gli sviluppatori, l’integrazione promessa significa poter accedere alla nuova infrastruttura attraverso la stessa API, senza migrare verso uno stack differente.
Dopo Nebius, anche Groq collocherà LPX e Vera Rubin NVL72 nel proprio cloud per l’inferenza. L’azienda ha confermato che l’installazione sarà realizzata con Dell Technologies.
