L’intelligenza artificiale non vive più soltanto nel cloud. La diffusione di modelli più piccoli ed efficienti e l’arrivo di processori dedicati stanno portando una parte crescente dell’inferenza direttamente su PC, smartphone, server aziendali e sistemi edge, modificando il modo in cui le imprese possono gestire dati, prestazioni e costi.
È il terreno della on-device AI, cioè dell’esecuzione locale dei modelli senza dover trasferire ogni informazione verso infrastrutture cloud esterne. Un approccio che non sostituisce il cloud, ma introduce un’alternativa sempre più concreta nei casi in cui contano soprattutto riservatezza dei dati, bassa latenza, continuità operativa e controllo dell’infrastruttura.
Secondo Vincenzo Carrea, Head of Artificial Intelligence di Indra Group in Italia, il punto non è quindi scegliere tra cloud e AI locale, ma capire quale ambiente sia più adatto a ciascun carico di lavoro. Una scelta destinata a incidere sempre di più sulla progettazione delle architetture AI aziendali.
Dall’AI nel cloud all’inferenza locale
Per anni il funzionamento dei sistemi di intelligenza artificiale ha seguito uno schema pressoché obbligato: la richiesta parte dal dispositivo, attraversa la rete, raggiunge un data center dove risiedono modello e capacità di calcolo e torna infine all’utente sotto forma di risposta.
Questo modello resta dominante, ma non è più l’unico possibile. La diffusione di modelli più compatti ed efficienti, insieme all’integrazione delle NPU, le Neural Processing Unit progettate per accelerare i workload di intelligenza artificiale, consente oggi di spostare parte dell’elaborazione direttamente sul dispositivo o all’interno dell’infrastruttura aziendale.
Notebook, smartphone e server possono quindi eseguire localmente determinati modelli senza inviare ogni volta i dati verso il cloud. Una possibilità che cambia tre variabili fondamentali per le imprese: dove vengono trattate le informazioni, quanto rapidamente viene prodotta una risposta e quali costi sono necessari per ottenerla.
Non significa riportare tutta l’intelligenza artificiale all’interno dei data center aziendali. I servizi cloud continuano a essere la soluzione più efficace per numerosi workload, soprattutto quando servono modelli di grandi dimensioni e capacità computazionali elevate. L’inferenza locale aggiunge però una nuova opzione alla progettazione delle architetture AI.
Il mercato dell’edge AI accelera
Il cambiamento è visibile anche nell’evoluzione del mercato hardware. Secondo i dati MarketsandMarkets citati da Indra, il comparto dell’hardware per l’edge AI vale circa 26 miliardi di dollari nel 2025 e potrebbe avvicinarsi ai 59 miliardi entro il 2030.
Una crescita che riflette la diffusione di sistemi capaci di eseguire algoritmi e modelli direttamente vicino alla sorgente dei dati.
Per le aziende il problema si sposta quindi dalla disponibilità della tecnologia alla scelta dell’architettura più efficace. Non tutti i carichi di lavoro hanno infatti bisogno del cloud e, allo stesso tempo, non tutti possono essere gestiti in modo efficiente localmente.
Privacy e controllo diretto dei dati
La protezione delle informazioni è uno dei principali argomenti a favore dell’inferenza locale.
Se il modello viene eseguito direttamente sul dispositivo o all’interno dell’infrastruttura aziendale, i dati possono rimanere sotto il controllo diretto dell’organizzazione senza essere trasferiti verso servizi cloud esterni.
È un vantaggio particolarmente rilevante quando vengono trattate informazioni sensibili o quando policy interne e requisiti di governance impongono limiti precisi alla circolazione dei dati.
L’AI locale permette quindi di utilizzare modelli di intelligenza artificiale mantenendo determinate informazioni all’interno del perimetro aziendale, riducendo la necessità di spostarle tra infrastrutture differenti.
Meno latenza quando la risposta deve essere immediata
L’altro elemento chiave è la velocità.
Ogni elaborazione affidata al cloud dipende inevitabilmente dalla rete: la richiesta deve raggiungere il data center remoto e la risposta deve tornare al dispositivo. Portare il modello vicino ai dati permette di eliminare una parte di questo percorso.
La latenza può così ridursi e diventare meno dipendente dalla qualità della connessione.
Il vantaggio è particolarmente importante negli scenari nei quali pochi millisecondi possono incidere sul funzionamento dell’applicazione. È il caso, per esempio, dei sistemi di controllo qualità sulle linee produttive, dove l’analisi deve essere eseguita rapidamente per individuare anomalie o difetti.
In questi contesti, trasferire continuamente grandi quantità di informazioni verso il cloud può introdurre ritardi non compatibili con le esigenze operative.
AI locale anche quando la rete non c’è
L’inferenza locale consente inoltre di ridurre la dipendenza dalla connettività.
Un modello eseguito direttamente sul dispositivo può continuare a funzionare anche in presenza di connessioni instabili, banda limitata o completa assenza di accesso al cloud.
È una caratteristica rilevante per operatori e tecnici che lavorano in mobilità, all’interno di impianti isolati oppure in ambienti nei quali una connessione stabile non può essere garantita.
L’AI on-device trova quindi spazio nell’assistenza sul campo, nella manutenzione industriale e in tutte quelle applicazioni nelle quali l’elaborazione deve rimanere disponibile indipendentemente dalla rete.
Dalla privacy alla sovranità tecnologica
L’esecuzione locale dei modelli introduce anche una questione più ampia: quella della sovranità tecnologica.
Mantenere modelli e dati all’interno di sistemi controllati direttamente dall’organizzazione significa avere maggiore capacità di decidere dove vengono eseguite le elaborazioni, quali tecnologie vengono utilizzate e come vengono gestite le informazioni.
Con l’intelligenza artificiale sempre più integrata nei processi aziendali, la dipendenza da piattaforme e infrastrutture esterne diventa infatti una variabile strategica.
La possibilità di scegliere dove far funzionare i modelli può quindi contribuire a ridurre il livello di dipendenza tecnologica e a mantenere un maggiore controllo sull’architettura complessiva.
La governance del dato diventa una scelta architetturale
Accanto alla sovranità tecnologica cresce il peso della data governance.
Con l’aumento dell’utilizzo dell’AI nelle attività quotidiane, le imprese devono stabilire quali informazioni possano essere elaborate, da quali modelli, all’interno di quali infrastrutture e secondo quali regole di controllo e tracciabilità.
L’inferenza locale offre uno degli strumenti con cui applicare queste policy.
Determinati dati possono essere mantenuti sul dispositivo o all’interno dei sistemi aziendali, mentre altri workload possono essere affidati al cloud. La scelta dell’infrastruttura diventa così parte integrante delle politiche di governance dell’intelligenza artificiale.
Cloud o inferenza locale: la scelta dipende dal workload
Cloud e AI locale non sono quindi due modelli necessariamente alternativi.
I large language model e i modelli di grandi dimensioni continuano ad avere un ruolo centrale quando servono ragionamenti complessi, grande capacità computazionale o accesso a basi di conoscenza molto estese.
I modelli più piccoli possono invece essere più adatti alle attività ripetitive, alle analisi rapide e ai workload che utilizzano informazioni che è preferibile non trasferire fuori dal dispositivo o dal perimetro aziendale.
L’architettura può quindi diventare ibrida: una parte dell’elaborazione viene eseguita localmente, mentre i compiti più complessi vengono inviati al cloud.
Tre criteri per decidere dove eseguire un modello
Secondo l’analisi proposta da Indra, la scelta può essere ricondotta soprattutto a tre fattori: sensibilità del dato, complessità del compito e requisiti di latenza e connettività.
Quando un’informazione non può uscire dal perimetro aziendale, l’inferenza locale diventa la soluzione più adatta.
Se invece il compito richiede capacità di ragionamento elevate oppure l’accesso a basi di conoscenza molto ampie, i modelli di grandi dimensioni eseguiti nel cloud conservano un vantaggio.
Il terzo elemento riguarda le condizioni operative. Quando la risposta deve essere immediata oppure la disponibilità della rete non è garantita, portare l’elaborazione sul dispositivo può diventare necessario.
Il vantaggio competitivo si sposta sull’orchestrazione
Per chi guida un’impresa cambia quindi anche la domanda da porsi sull’intelligenza artificiale.
Negli ultimi anni gran parte dell’attenzione si è concentrata sulla ricerca del modello più potente, più recente o più capace. Ma con la progressiva diffusione delle stesse tecnologie tra aziende concorrenti, l’accesso al modello migliore potrebbe diventare sempre meno differenziante.
Il vantaggio competitivo può spostarsi sulla capacità di combinare e orchestrare modelli differenti, scegliendo di volta in volta quale utilizzare e dove eseguire l’elaborazione.
Alcuni workload resteranno nel cloud, altri verranno portati nei data center aziendali, altri ancora direttamente su PC, smartphone o dispositivi edge.
La progettazione dell’AI aziendale diventa così un problema di architettura oltre che di scelta del modello: decidere quale intelligenza artificiale utilizzare, dove eseguirla e quali dati metterle a disposizione.
