Come afferma NVIDIA, gli agenti di intelligenza artificiale sono pronti a trasformare la produttività del miliardo di lavoratori della conoscenza del mondo con “robot della conoscenza” in grado di svolgere una serie di compiti. Per sviluppare gli AI agent, le aziende devono affrontare problemi critici come la fiducia, la sicurezza, la protezione e la conformità.
I nuovi microservizi NVIDIA NIM per AI guardrails – parte della collezione di strumenti software NVIDIA NeMo Guardrails – sono microservizi di inferenza portabili e ottimizzati che aiutano le aziende a migliorare la sicurezza, la precisione e la scalabilità delle loro applicazioni di AI generativa.
Il fulcro dell’orchestrazione dei microservizi è NeMo Guardrails, parte della piattaforma NVIDIA NeMo per la cura, la personalizzazione e il guardrail dell’IA. NeMo Guardrails aiuta gli sviluppatori a integrare e gestire i guardrail dell’intelligenza artificiale nelle applicazioni con modelli linguistici di grandi dimensioni (LLM). I leader del settore Amdocs, Cerence AI e Lowe’s sono tra coloro che utilizzano NeMo Guardrails per proteggere le applicazioni AI, sottolinea NVIDIA.
Gli sviluppatori possono utilizzare i microservizi NIM per costruire agenti AI più sicuri e affidabili, che forniscono risposte sicure e appropriate all’interno di linee guida specifiche per il contesto e sono protetti contro i tentativi di jailbreak. Impiegati nel servizio clienti in settori come l’automotive, la finanza, la sanità, la produzione e la vendita al dettaglio, gli agenti possono aumentare la soddisfazione e la fiducia dei clienti.
Uno dei nuovi microservizi, costruito per la moderazione della sicurezza dei contenuti, è stato addestrato utilizzando l’Aegis Content Safety Dataset, una delle fonti di dati di più alta qualità e con annotazione umana nella sua categoria. Curato e di proprietà di NVIDIA, il dataset è pubblicamente disponibile su Hugging Face e comprende oltre 35.000 campioni di dati annotati dall’uomo e segnalati per la sicurezza dell’IA e per i tentativi di jailbreak per aggirare le restrizioni del sistema.
NVIDIA NeMo Guardrails mantiene gli agenti di intelligenza artificiale sulla giusta strada
L’intelligenza artificiale sta rapidamente aumentando la produttività di un’ampia gamma di processi aziendali. Nel servizio clienti, sta aiutando a risolvere i problemi dei clienti fino al 40% più velocemente, mette in evidenza NVIDIA. Tuttavia, la scalabilità dell’IA per il servizio clienti e altri agenti AI richiede modelli sicuri che prevengano output dannosi o inappropriati e garantiscano che l’applicazione AI si comporti entro parametri definiti.
NVIDIA ha introdotto tre nuovi microservizi NIM per NeMo Guardrails che aiutano gli agenti AI a operare in scala mantenendo un comportamento controllato:
- Content safety NIM microservice che salvaguarda l’intelligenza artificiale dalla generazione di risultati parziali o dannosi, garantendo risposte in linea con gli standard etici.
- Topic control NIM microserviceche mantiene le conversazioni focalizzate su argomenti approvati, evitando digressioni o contenuti inappropriati.
- Jailbreak detection NIM microservice che aggiunge protezione contro i tentativi di jailbreak, contribuendo a mantenere l’integrità dell’IA in scenari avversari.
Applicando più modelli leggeri e specializzati come guardrail, gli sviluppatori possono coprire le lacune che possono verificarsi quando esistono solo politiche e protezioni globali più generali, poiché un approccio unico non è in grado di proteggere e controllare adeguatamente i complessi flussi di lavoro dell’agentic AI.
I modelli linguistici di piccole dimensioni, come quelli della collezione NeMo Guardrails, offrono una latenza inferiore e sono progettati per funzionare in modo efficiente, anche in ambienti con risorse limitate o distribuiti. Questo li rende ideali per la scalabilità delle applicazioni AI in settori come quello sanitario, automobilistico e manifatturiero, in luoghi come ospedali o magazzini, afferma NVIDIA.
NeMo Guardrails offre strumenti open-source per il test della sicurezza dell’intelligenza artificiale
Gli sviluppatori pronti a testare l’efficacia dell’applicazione dei modelli di salvaguardia e di altri rail possono utilizzare NVIDIA Garak – un toolkit open-source per la scansione delle vulnerabilità di LLM e applicazioni sviluppato dal team di ricerca NVIDIA.
Con Garak, gli sviluppatori possono identificare le vulnerabilità nei sistemi che utilizzano gli LLM valutandoli per problemi quali fughe di dati, prompt injection, allucinazioni di codice e scenari di jailbreak. Generando casi di test che comportano output inappropriati o errati, Garak aiuta gli sviluppatori a individuare e risolvere i potenziali punti deboli dei modelli di intelligenza artificiale per migliorarne la robustezza e la sicurezza.
I microservizi NVIDIA NeMo Guardrails, così come NeMo Guardrails per la rail orchestration e il toolkit NVIDIA Garak, sono ora disponibili per sviluppatori e aziende. NVIDIA ha anche pubblicato un tutorial con cui gli sviluppatori possono iniziare a costruire protezioni AI in agenti AI per il servizio clienti usando NeMo Guardrails.