Nell’ambito dell’iniziativa Innovative Optical and Wireless Network (IOWN), NTT Corporation e Red Hat in collaborazione con NVIDIA e Fujitsu, hanno sviluppato congiuntamente una soluzione volta a migliorare ed estendere il potenziale della data analytics con intelligenza artificiale all’edge e in tempo reale.
Utilizzando le tecnologie sviluppate dallo IOWN Global Forum e scegliendo come base Red Hat OpenShift, la principale piattaforma applicativa hybrid cloud del settore basata su Kubernetes, la soluzione ha anche ricevuto il riconoscimento IOWN Global Forum’s Proof of Concept (PoC) per le sue caratteristiche di estrema fattibilità e applicabilità nel mondo reale, testimoniate anche da diversi casi d’uso.
L’accelerazione dell’adozione di intelligenza artificiale, di tecnologie di rilevamento e di infrastrutture di rete sempre più innovative rendono imprescindibile l’utilizzo di analytics di AI per valutare gli input direttamente all’edge e reindirizzarli al resto dell’infrastruttura, soprattutto in un contesto di fonti di dati in continua espansione. L’uso degli analytics di AI su larga scala, tuttavia, può essere lento e complesso oltre che associato ad un incremento sia dei costi di manutenzione che di aggiornamento del software necessario ad integrare nuovi modelli di intelligenza artificiale e hardware ulteriore. Con l’emergere dell’edge computing in luoghi sempre più remoti, è possibile portare l’AI analytics più vicino ai sensori, riducendo la latenza e aumentando la larghezza di banda.
Questa soluzione è costituita dalla rete IOWN All-Photonics Network (APN) e dalle tecnologie di accelerazione della pipeline di dati nell’infrastruttura IOWN Data-Centric Infrastructure (DCI). La pipeline di dati accelerata di NTT per l’AI adotta il Remote Direct Memory Access (RDMA) su APN per raccogliere ed elaborare in modo efficiente grandi quantità di dati dei sensori all’edge. La tecnologia di orchestrazione dei container di Red Hat OpenShift offre una maggiore flessibilità per gestire i carichi di lavoro all’interno della pipeline di dati accelerati in data center remoti e distribuiti geograficamente. NTT e Red Hat hanno dimostrato con successo che questa soluzione è in grado di ridurre efficacemente il consumo energetico mantenendo una latenza inferiore per condurre AI analytics in tempo reale all’edge.
Un proof of concept condotto in Giappone ha valutato una piattaforma di AI analytics in tempo reale. La città di Yokosuka è stata scelta come base di installazione dei sensori e la città di Musashino come centro dati remoto, ed entrambe sono state connesse via APN. Di conseguenza, anche quando è stato ospitato un gran numero di telecamere, la latenza necessaria per aggregare i dati dei sensori per poter condurre l’analisi con l’intelligenza artificiale è stata ridotta del 60% rispetto ai carichi di lavoro convenzionali di inferenza. Inoltre, i test PoC di IOWN hanno dimostrato che il consumo energetico necessario per l’analisi dell’intelligenza artificiale per ogni telecamera all’edge può essere ridotto del 40% rispetto alla tecnologia convenzionale. Questa piattaforma di analytics AI in tempo reale consente di scalare la GPU per ospitare un numero maggiore di telecamere senza che la CPU generi un collo di bottiglia. Secondo un calcolo di prova, ipotizzando di poter ospitare 1.000 telecamere, si prevede che il consumo energetico possa essere ulteriormente ridotto del 60%.
“Negli ultimi anni, abbiamo lavorato nell’ambito dello IOWN Global Forum per porre le basi dell’innovazione IA basata sull’open source e fornire tecnologie che ci aiutino a fare scelte più intelligenti per il futuro”, ha commentato Chris Wright, chief technology officer e senior vice president of Global Engineering di Red Hat e board director di IOWN Global Forum. “Si tratta di un lavoro importante ed entusiasmante, e questi risultati dimostrano che possiamo costruire soluzioni abilitate dall’AI che siano sostenibili e innovative per le aziende di tutto il mondo. Con Red Hat OpenShift, possiamo aiutare NTT a fornire data analytics potenziata con l’AI su larga scala, in tempo reale e senza limitazioni“.
Katsuhiko Kawazoe, senior executive vice president di NTT e presidente di IOWN Global Forum, ha aggiunto: “Il Gruppo NTT, grazie ad una estesa collaborazione con i partner, sta accelerando lo sviluppo di IOWN per realizzare una società sostenibile. Questo PoC di IOWN è un importante passo avanti verso il green computing per l’AI, che a sua volta supporta l’impiego dell’AI a più ampio spettro. Stiamo lavorando per migliorare ulteriormente l’efficienza energetica di IOWN applicando tecnologie di convergenza fotonica-elettronica a un’infrastruttura informatica. Con IOWN intendiamo incarnare il futuro sostenibile delle emissioni zero“.
i punti principali del proof of concept del soluzione
- La pipeline di dati accelerata per l’inferenza dell’intelligenza artificiale, fornita da NTT, utilizza RDMA su APN per recuperare dati su larga scala direttamente dai sensori locali fino alla memoria di un acceleratore in un centro dati remoto, riducendo le spese generali di gestione del protocollo presenti nella rete convenzionale. Inoltre, completa l’elaborazione dei dati dell’inferenza AI all’interno dell’acceleratore con una spesa di controllo della CPU minore, migliorando quindi l’efficienza energetica dell’inferenza AI.
- La data analytics AI su larga scala in tempo reale, grazie a Red Hat OpenShift, può supportare gli operatori Kubernetes per ridurre al minimo la complessità dell’implementazione di acceleratori basati su hardware (GPU, DPU, ecc.), consentendo maggiore flessibilità e una più facile implementazione in siti disaggregati, compresi i data center remoti.
- Questo PoC utilizza GPU NVIDIA A100 Tensor Core e NIC NVIDIA ConnectX-6 per l’inferenza AI.
La soluzione contribuisce a gettare le basi per lo sviluppo e l’implementazione di ulteriori tecnologie basate sull’intelligenza artificiale che aiuteranno le aziende a scalare in modo sostenibile. Con questa soluzione, le aziende possono infatti beneficiare di:
- Riduzione delle spese generali associate alla raccolta di grandi quantità di dati;
- Miglioramento complessivo del processo di raccolta dei dati che può essere esteso per comprendere sia aree metropolitane che centri dati remoti con la garanzia di analytics AI più rapida;
- Capacità di utilizzare energia disponibile in loco e, potenzialmente, da fonti rinnovabili, come quella solare o eolica;
- Maggiore sicurezza nella gestione dell’area grazie a videocamere che fungono da dispositivi di rilevamento.
