Il 25 agosto 2026 OpenAI ha diffuso i primi risultati misurati di Jalapeño, il suo acceleratore progettato espressamente per l’inferenza dei modelli linguistici. Nei test su GPT-OSS 120B, DeepSeek R1 670B e Kimi K2.5 1T, il chip ha completato da 1,5 a 1,9 volte più lavoro per watt al massimo throughput, con una latenza end-to-end da 1,7 a 3,6 volte più bassa rispetto ai sistemi NVIDIA impiegati come riferimento.
OpenAI e Broadcom avevano presentato Jalapeño il 24 giugno 2026, mostrando i primi campioni funzionanti e anticipando un’efficienza per watt superiore alle soluzioni disponibili sul mercato. Due mesi dopo, quelle indicazioni preliminari sono accompagnate da confronti su modelli pubblici, compreso Kimi K2.5 con un trilione di parametri.
I tre test mettono Jalapeño a confronto con NVIDIA GB200 per GPT-OSS e con NVIDIA GB300 per DeepSeek R1 e Kimi K2.5. Il risultato più rilevante non è un singolo valore di picco, ma la capacità di mantenere insieme throughput elevato, consumi più contenuti e tempi di risposta ridotti.
Il confronto con NVIDIA GB200 e GB300
OpenAI ha eseguito le prove con InferenceX, il benchmark aperto e riproducibile di SemiAnalysis. Il sistema misura il processo completo con cui viene servita una richiesta AI, includendo acceleratori, software, parallelismo, memoria e rete.
Il confronto copre diversi punti operativi: dalla modalità orientata al massimo throughput, nella quale il sistema elabora molte richieste contemporaneamente, fino alle configurazioni a bassa latenza destinate agli utilizzi più interattivi.
Con GPT-OSS 120B, Jalapeño ha ottenuto un throughput di picco per kilowatt circa 1,9 volte superiore a quello del sistema GB200. La latenza end-to-end è risultata 1,7 volte più bassa, mentre il tempo minimo tra due token è stato ridotto di un fattore 2,7.
Con DeepSeek R1 670B, il confronto con GB300 mostra un throughput per kilowatt 1,7 volte superiore e una latenza end-to-end 3,6 volte più bassa. Nella configurazione più interattiva, Jalapeño ha raggiunto una velocità per utente circa 4,1 volte maggiore.
Con Kimi K2.5 1T, il modello più grande dei tre, Jalapeño ha prodotto 1,5 volte più lavoro per kilowatt rispetto al sistema GB300, riducendo la latenza end-to-end di un fattore 3,4. La velocità per utente è risultata circa 3,8 volte superiore.
Il vantaggio aumenta quando i sistemi vengono confrontati alla stessa velocità di generazione per utente. Al migliore TBT raggiunto dal sistema concorrente, Jalapeño ha offerto un throughput per kilowatt circa 53,7 volte superiore con GPT-OSS, 104,3 volte con DeepSeek R1 e 56,1 volte con Kimi K2.5.
Il TBT, time between tokens, misura il tempo che intercorre tra due token consecutivi della risposta: più è basso, più rapidamente il testo viene generato per il singolo utente. I confronti a TBT equivalente mostrano quindi quante richieste aggiuntive può gestire Jalapeño senza rendere più lenta la generazione percepita da ciascuna sessione.
Potenza nominale ed efficienza misurata
Per rendere omogeneo il confronto, OpenAI ha normalizzato i risultati utilizzando la potenza nominale pubblicata per ciascun acceleratore: 700 watt per Jalapeño, 1.200 watt per GB200 e 1.400 watt per GB300.
La potenza nominale di Jalapeño è stata quindi utilizzata anche se, nei carichi provati, il suo consumo sostenuto misurato è rimasto pari o inferiore a 550 watt. La metrica centrale non è la prestazione del singolo chip, ma il lavoro prodotto per unità di energia, un parametro direttamente collegato alla capacità disponibile in un data center.
Questo criterio diventa particolarmente importante quando l’infrastruttura opera su larga scala. Un acceleratore capace di produrre più token per kilowatt permette di servire una domanda maggiore entro gli stessi limiti energetici, mentre una latenza inferiore riduce l’attesa nelle applicazioni interattive.
Jalapeño sposta la frontiera di Pareto
Nei grafici di InferenceX, ogni punto rappresenta il funzionamento di un sistema a un determinato livello di carico. Le due dimensioni messe in relazione sono il throughput per kilowatt, che deve essere il più alto possibile, e la latenza, che deve essere la più bassa possibile.
Una configurazione domina un’altra quando è almeno equivalente su entrambe le metriche e strettamente migliore su almeno una. Se due sistemi hanno la stessa latenza, ma uno produce più token per kilowatt, il secondo domina il primo. Lo stesso vale quando il throughput è uguale, ma uno dei sistemi risponde più rapidamente.
La frontiera di Pareto è l’insieme delle configurazioni non dominate. Non identifica necessariamente un unico vincitore: raccoglie i punti per i quali, tra le configurazioni esaminate, non è possibile migliorare una metrica senza peggiorare l’altra.
Lungo una normale frontiera si può scegliere più throughput accettando una maggiore latenza, oppure una risposta più rapida rinunciando a una parte della capacità complessiva. Nei tre benchmark, gli intervalli operativi di Jalapeño spostano la frontiera verso una combinazione più favorevole: a una determinata latenza corrisponde più throughput per kilowatt e, a un determinato throughput, una latenza inferiore rispetto ai sistemi confrontati.
Un chip costruito intorno alle fasi dell’inferenza
Jalapeño è il primo componente di una piattaforma hardware multigenerazionale sviluppata da OpenAI con Broadcom e Celestica. OpenAI ne ha definito l’architettura; Broadcom ha contribuito all’implementazione del silicio, alle tecnologie di rete e alla produzione; Celestica partecipa alla realizzazione di schede, rack e sistemi.
L’architettura tiene conto delle diverse fasi attraversate da una richiesta. Il prefill, durante il quale viene elaborato il prompt, richiede soprattutto capacità di calcolo. Il decode, che genera la risposta token dopo token, dipende maggiormente dalla larghezza di banda della memoria.
Anche le comunicazioni possono aumentare la latenza. Quando dati e stato del modello devono spostarsi tra core o chip, alcune unità di elaborazione possono restare inattive in attesa delle informazioni necessarie.
Jalapeño riduce questi trasferimenti mantenendo localmente lo stato del modello, compresa la KV cache usata durante la generazione. Il sistema può attivare la combinazione di calcolo, memoria e rete più adatta a ciascuna fase, mentre il networking è integrato nell’architettura anziché essere trattato come un componente separato.
Questa impostazione permette allo stesso acceleratore di lavorare sia sul prefill sia sul decode e di adattarsi quando cambiano la struttura del modello, la lunghezza del contesto o il rapporto tra elaborazione del prompt e generazione della risposta.
La latenza si moltiplica nei flussi agentici
La riduzione dei tempi di risposta è particolarmente rilevante per gli agenti AI, che possono concatenare numerose chiamate al modello per analizzare informazioni, usare strumenti, verificare risultati e decidere il passaggio successivo.
In questi flussi, l’output di una chiamata determina spesso l’avvio di quella seguente. Un ritardo contenuto nella singola inferenza può quindi accumularsi lungo l’intera sequenza e incidere sensibilmente sul tempo necessario per completare il compito.
Il throughput aggregato non descrive da solo questa esperienza. Un sistema può produrre molti token elaborando numerose richieste in parallelo, ma rispondere lentamente a ciascun utente. I risultati di Jalapeño indicano invece un miglioramento simultaneo del lavoro completato per unità di potenza e della velocità della singola sessione.
Il ruolo di Jalapeño nello stack di OpenAI
La strategia di calcolo full stack di OpenAI comprende data center, chip, memoria, reti, software di serving, modelli e prodotti. L’integrazione permette di intervenire sui colli di bottiglia dell’intera richiesta invece di ottimizzare separatamente i singoli componenti.
In questa prospettiva, la frontiera da ottimizzare non comprende soltanto throughput e latenza. OpenAI considera anche capacità, affidabilità, efficienza e costo, scegliendo combinazioni differenti per l’addestramento dei modelli di frontiera, l’inferenza ad alto volume e gli agenti sempre attivi.
Jalapeño non è quindi destinato a sostituire tutti gli altri acceleratori. OpenAI continuerà a utilizzare i sistemi NVIDIA e quelli degli altri partner per addestramento e inferenza. Il chip proprietario amplia le alternative disponibili e consente di assegnare ogni carico alla piattaforma con la combinazione più adatta di prestazioni ed economia.
La misura economica proposta dall’azienda è il lavoro utile per dollaro. Modelli capaci di arrivare al risultato con meno tentativi, una gestione del contesto che evita elaborazioni superflue e hardware più efficiente concorrono ad abbassare il costo complessivo del compito completato.
L’AI ha contribuito allo sviluppo del chip
OpenAI riferisce di essere passata dal progetto iniziale al tape-out in nove mesi, impiegando i propri modelli per esplorare diverse implementazioni, ottimizzare i circuiti aritmetici e abbreviare i cicli di progettazione, misurazione e verifica.
Jalapeño è stato costruito anche come destinazione di programmazione prevedibile per ingegneri e sistemi AI. Il lavoro viene descritto attraverso tensori locali, comunicazioni esplicite e sincronizzazione deterministica; l’AI può quindi ottimizzarne posizionamento, pianificazione e coordinamento.
Con Codex e GPT-Astra, il team ha adattato a Jalapeño tre modelli open-weight che non facevano parte del piano di produzione iniziale, portandoli a prestazioni elevate in due mesi. Per alcuni blocchi di attenzione e mixture-of-experts di GPT-OSS, le implementazioni generate dall’AI sono risultate da 1,5 a 1,8 volte più veloci di quelle scritte in precedenza da esperti. Il confronto riguarda i blocchi selezionati, non il modello completo.
I modelli contribuiscono così alla progettazione e alla programmazione dell’hardware destinato a eseguire le generazioni successive di AI. A sua volta, l’esperienza raccolta sui carichi reali può orientare l’evoluzione del software e dei futuri processori.
Distribuzione entro la fine del 2026
OpenAI prevede di iniziare a installare Jalapeño nella propria infrastruttura entro la fine del 2026. La seconda generazione del chip è già in una fase avanzata di sviluppo, mentre la terza è in corso di definizione.
Prima della distribuzione su scala più ampia, l’azienda sta completando la qualificazione per la produzione, consolidando il software e verificando il funzionamento con altri modelli.
Per ChatGPT, Codex e gli agenti AI, il vantaggio atteso non consiste soltanto nel generare più token. Più throughput per kilowatt e meno latenza possono ridurre le risorse e il tempo necessari per completare un’intera attività, trasformando l’efficienza del chip in maggiore capacità disponibile per i prodotti di OpenAI.
