NVIDIA Run:ai su Azure migliora l’orchestrazione dei workload AI, ottimizzando l’uso delle GPU e garantendo governance e scalabilità.
La crescita esponenziale dei workload di intelligenza artificiale — dal training su larga scala all’inferenza in tempo reale — richiede accesso dinamico a GPU sempre più potenti. Tuttavia, gli ambienti Kubernetes offrono un supporto nativo limitato alla gestione delle GPU, causando inefficienze, difficoltà di governance e mancanza di visibilità sui consumi.
Per rispondere a queste criticità, NVIDIA Run:ai introduce una piattaforma di orchestrazione AI-native che semplifica la gestione delle risorse GPU, massimizza le prestazioni e garantisce governance e scalabilità in ambienti containerizzati. Ora disponibile sul Microsoft Marketplace, Run:ai consente alle organizzazioni di ottimizzare i carichi di lavoro AI su Microsoft Azure, integrandosi nativamente con Azure Kubernetes Service (AKS).
NVIDIA Run:ai, orchestrazione AI-native per Kubernetes
NVIDIA Run:ai fornisce un livello flessibile e Kubernetes-native per la gestione di workload AI e machine learning. La piattaforma assegna dinamicamente GPU intere o frazionate in base a priorità, code e disponibilità, migliorando l’utilizzo delle risorse e riducendo i tempi di inattività.
Tra le funzionalità chiave figurano la fractional GPU allocation (che permette di condividere una GPU tra più job di inferenza o ambienti di sviluppo), la scheduling dinamica, e la gestione per team o progetti tramite quote dedicate e politiche di isolamento. L’orchestrazione unificata semplifica l’amministrazione in ambienti multi-cloud e ibridi, garantendo piena visibilità e controllo.
NVIDIA Run:ai su Microsoft Azure
L’integrazione tra Run:ai e Azure si basa sulla combinazione di GPU NVIDIA di ultima generazione (T4, A10, A100, H100, H200 e GB200 Grace Blackwell Superchip) con le VM ottimizzate di Azure — dalle serie NC e ND per AI e HPC, fino alle NV e NG per visualizzazione e gaming cloud.
Run:ai sfrutta Azure Kubernetes Service (AKS) per orchestrare le GPU e Azure Blob Storage per gestire dataset e modelli su larga scala, abilitando flussi di lavoro coerenti tra infrastrutture on-premises e cloud. L’interfaccia Run:ai fornisce una panoramica in tempo reale delle risorse, con metriche su GPU attive, workload in esecuzione e code pendenti, facilitando la pianificazione e l’ottimizzazione delle risorse.
Gestione intelligente con Azure Kubernetes Service
In Azure Kubernetes Service, NVIDIA Run:ai introduce uno strato di orchestrazione che ottimizza l’uso delle GPU in base alle priorità dei job. Le risorse vengono allocate in modo dinamico, consentendo a più workload di condividere la stessa GPU e riducendo al minimo il tempo di inattività.
La piattaforma supporta workload di training multi-nodo e inferenza distribuita, mantenendo la governance tramite namespace e politiche di quota AKS. Le aziende possono così bilanciare prestazioni, costi e controllo, massimizzando la produttività dei team AI.
Un ponte tra on-premises e cloud
Molte organizzazioni stanno adottando strategie ibride per gestire workload AI complessi. Run:ai semplifica questa transizione, garantendo una gestione coerente delle risorse tra data center locali e Azure. Aziende come Deloitte e Dell Technologies hanno osservato un miglioramento dell’efficienza nell’uso delle GPU e una maggiore agilità nel condividere la capacità di calcolo tra ambienti on-premises e cloud.
Anche istituzioni accademiche come la Johns Hopkins University utilizzano Run:ai su Azure per accelerare esperimenti, ridurre i tempi di attesa e mantenere il controllo su dati sensibili e tool specializzati.
Dalla configurazione al pieno controllo
Una volta implementata, la piattaforma Run:ai su Azure offre un cruscotto unificato che consente di gestire nodi, GPU e job attivi in tempo reale. È possibile raggruppare nodi in node pool e impostare politiche di scheduling contestuale per ogni workload. I team possono disporre di quote garantite e sfruttare la preemption per massimizzare l’efficienza delle risorse condivise.
La soluzione supporta l’intero ciclo di vita dell’AI: dai notebook Jupyter ai job di training multi-GPU, fino all’inferenza distribuita. Con Run:ai è possibile eseguire framework come PyTorch Elastic o distribuire modelli da Hugging Face e NVIDIA NGC, sfruttando NVIDIA Dynamo per l’inferenza dinamica.
Analisi, governance e chargeback
Oltre all’orchestrazione, Run:ai fornisce un sistema analitico avanzato per monitorare l’utilizzo delle GPU nel tempo, facilitando modelli di chargeback e showback. Le dashboard interattive consentono di misurare le performance e di prendere decisioni data-driven su scalabilità e costi operativi.
Come sottolineato da NVIDIA, l’obiettivo è unificare performance, governance e scalabilità in un’unica piattaforma che renda l’AI più accessibile e sostenibile per le imprese.
Con NVIDIA Run:ai su Microsoft Azure, le organizzazioni ottengono una soluzione completa per l’orchestrazione di workload AI, combinando l’intelligenza di scheduling GPU con la potenza della piattaforma cloud di Azure. Il risultato è un’infrastruttura AI pronta per la produzione: scalabile, osservabile e ottimizzata per massimizzare prestazioni e ROI.
Leggi tutti i nostri articoli su NVIDIA
