Red Hat, tra i fornitori leader di soluzioni open source, ha annunciato l’arrivo del supporto all’integrazione dei microservizi NVIDIA NIM su Red Hat OpenShift AI per consentire l’inferenza ottimizzata di decine di modelli di intelligenza artificiale (AI) supportati da una piattaforma cloud ibrida AI/ML coerente e open source.
Le organizzazioni potranno utilizzare Red Hat OpenShift AI con NVIDIA NIM – un set di microservizi di inferenza di facile utilizzo inclusi nella piattaforma software NVIDIA AI Enterprise – per accelerare l’erogazione di applicazioni di AI generativa (gen AI) e velocizzare il time to value.
Il supporto per NVIDIA NIM su Red Hat OpenShift AI si basa sull’ottimizzazione esistente per NVIDIA AI Enterprise sulle tecnologie di cloud ibrido open di Red Hat, fra cui Red Hat Enterprise Linux e Red Hat OpenShift. Come parte di questa ultima collaborazione, NVIDIA abiliterà l’interoperabilità NIM con KServe, un progetto open source basato su Kubernetes per casi d’uso di AI altamente scalabili e contributor core upstream di Red Hat OpenShift AI. Ciò contribuirà ad alimentare l’interoperabilità continua dei microservizi NVIDIA NIM nelle future iterazioni di Red Hat OpenShift AI.
Questa integrazione – spiega Red Hat – consente alle aziende di aumentare la produttività con capacità di AI gen, come l’espansione del servizio clienti con assistenti virtuali, la riepilogazione dei casi per i ticket IT e l’accelerazione delle operazioni aziendali con copilot specifici per il dominio.
Utilizzando Red Hat OpenShift AI con NVIDIA NIM, le organizzazioni possono beneficiare di:
- Percorso semplificato di integrazione per fare il deploy di NVIDIA NIM in un workflow comune insieme ad altre distribuzioni di AI per una maggiore coerenza e una gestione più semplice.
- Scalabilità e monitoraggio integrati per le implementazioni di NVIDIA NIM in coordinamento con altre implementazioni di modelli di AI in ambienti di cloud ibrido.
- Sicurezza, supporto e stabilità di livello enterprise per garantire una transizione fluida dal prototipo alla produzione per le aziende che gestiscono il proprio business sull’IA.
I microservizi NVIDIA NIM sono progettati per accelerare l’implementazione dell’intelligenza artificiale nelle aziende. Grazie al supporto di un’ampia gamma di modelli di intelligenza artificiale, fra cui modelli della community open-source, modelli NVIDIA AI Foundation e custom model, NIM offre inferenze di intelligenza artificiale scalabili e senza soluzione di continuità, sia on-premises che nel cloud, tramite i application programming interfaces standard del settore.
Chris Wright, chief technology officer e senior vice president, Global Engineering, Red Hat, ha commentato: “Con questa collaborazione con NVIDIA, Red Hat si concentra sull’abbattimento delle barriere e delle complessità associate alla rapida creazione, gestione e distribuzione di applicazioni abilitate all’AI generativa. Red Hat OpenShift AI fornisce una base scalabile e flessibile per estendere la portata dei microservizi NIM, consentendo agli sviluppatori di disporre di container precostituiti e API standard del settore, il tutto alimentato dall’innovazione open source“.
Justin Boitano, vice president, Enterprise Products, NVIDIA, ha commentato: “Ogni team di sviluppo aziendale vuole portare in produzione le proprie applicazioni di IA generativa nel modo più rapido e sicuro possibile. L’integrazione di NVIDIA NIM in Red Hat OpenShift AI segna una nuova pietra miliare nella nostra collaborazione, in quanto aiuterà gli sviluppatori a costruire e scalare rapidamente le moderne applicazioni enterprise utilizzando fondamenta e modelli di embedding ottimizzati per le prestazioni in qualsiasi cloud o data center“.
