L’intelligenza artificiale generativa sta entrando in una fase nella quale la complessità operativa diventa un elemento centrale quanto la capacità dei modelli. Le aziende che portano gli LLM in produzione stanno costruendo sistemi composti da più modelli, framework di orchestrazione, strumenti esterni, prompt estesi, procedure di retry e numerosi servizi distribuiti. Il passaggio dalla sperimentazione alla produzione richiede quindi pratiche vicine a quelle già adottate nella gestione delle infrastrutture software complesse: instradamento delle richieste, gestione del ciclo di vita, pianificazione della capacità, controllo dei costi e debugging distribuito.
Il report State of AI Engineering 2026 di Datadog analizza questa evoluzione attraverso i dati di telemetria LLM raccolti da oltre mille clienti che utilizzano applicazioni AI in produzione. L’analisi evidenzia come la maturità dei sistemi basati su modelli linguistici non dipenda soltanto dalla qualità del modello scelto, ma dalla capacità di governare l’intero ambiente applicativo nel quale il modello opera.
Datadog, la piattaforma di osservabilità per i sistemi AI in produzione
Fondata nel 2010 da Olivier Pomel e Alexis Lê-Quôc, Datadog sviluppa una piattaforma di osservabilità cloud-native che raccoglie e correla metriche, log, tracce distribuite e dati applicativi per monitorare infrastrutture, applicazioni e ambienti di sicurezza complessi. La società è nata nell’era del cloud e dei microservizi, dove la distribuzione delle applicazioni tra più ambienti ha reso necessario un livello unificato di controllo operativo.
Con la diffusione dell’intelligenza artificiale generativa, Datadog ha esteso la propria piattaforma verso l’AI observability, aggiungendo strumenti per analizzare il comportamento dei modelli linguistici, il consumo di token, i costi delle chiamate LLM e i flussi di esecuzione degli agenti AI. Il rapporto State of AI Engineering 2026 utilizza proprio i dati di telemetria LLM raccolti attraverso gli strumenti Datadog adottati dai clienti che portano applicazioni AI in produzione.
Nel 2026 la società ha continuato a investire nell’integrazione tra osservabilità e intelligenza artificiale. Tra le iniziative più recenti figurano l’acquisizione di Adaptive ML, startup focalizzata sul Reinforcement Learning Operations (RLOps) e sulle architetture di agenti AI, e il potenziamento degli strumenti destinati alla gestione dei nuovi carichi di lavoro generati dall’AI.
La crescita del mercato dell’AI ha rafforzato il posizionamento di Datadog: nel secondo trimestre 2026 l’azienda ha registrato ricavi per 1,12 miliardi di dollari, in crescita del 36% rispetto allo stesso periodo dell’anno precedente, con circa 4.720 clienti con ricavi annuali ricorrenti superiori a 100 mila dollari.
Le aziende costruiscono portafogli di modelli AI
La prima trasformazione riguarda la scelta dei modelli. Le organizzazioni stanno progressivamente abbandonando l’approccio basato su un unico modello dominante e stanno costruendo ambienti multi-modello, nei quali diversi LLM vengono utilizzati per compiti differenti.
OpenAI mantiene la posizione più rilevante con una quota del 63% tra i provider utilizzati dalle organizzazioni analizzate da Datadog. Nello stesso periodo Google Gemini e Anthropic Claude hanno registrato una crescita significativa, con incrementi rispettivamente di 20 e 23 punti percentuali.
La diminuzione della quota relativa di OpenAI rispetto all’anno precedente non indica una riduzione dell’utilizzo. Il numero di clienti Datadog che utilizzano modelli OpenAI è più che raddoppiato, mentre altri provider hanno avuto una crescita più rapida.
La diversificazione emerge anche all’interno delle singole aziende. Oltre il 70% delle organizzazioni utilizza almeno tre modelli e la quota di quelle che impiegano più di sei modelli è quasi raddoppiata. Le imprese stanno quindi creando veri e propri portafogli di modelli, selezionando l’LLM più adatto in funzione di qualità dell’output, latenza, costo e requisiti operativi.
Questa architettura introduce però nuove esigenze di piattaforma. La gestione diretta di molte API distribuite tra diversi fornitori rende più difficile applicare criteri uniformi di sicurezza, compliance e continuità operativa. Per questo motivo cresce il ruolo degli AI gateway, componenti che centralizzano l’instradamento delle richieste verso diversi modelli e permettono di applicare regole comuni di selezione, monitoraggio e controllo.
Le organizzazioni più mature trattano l’inferenza come una pipeline nella quale ogni fase può utilizzare il modello più appropriato. Modelli più leggeri possono occuparsi di estrazione o classificazione, mentre modelli più avanzati vengono riservati alle attività di sintesi o generazione complessa. Questa impostazione consente di bilanciare qualità, costo e tempi di risposta attraverso valutazioni continue.
Il ciclo continuo delle release crea nuovo debito tecnico
La velocità con cui vengono introdotti nuovi modelli sta creando una nuova forma di debito tecnico. Le aziende adottano rapidamente nuove versioni per migliorare le applicazioni, ma procedono più lentamente nella dismissione dei modelli già presenti in produzione. Il risultato è un aumento della complessità gestionale.
Ogni modello aggiuntivo introduce caratteristiche proprie. Lo stesso prompt, gli stessi strumenti e lo stesso flusso operativo possono produrre risultati differenti in termini di qualità, latenza e costo a seconda del modello utilizzato. La crescita del numero di modelli diventa quindi un problema di governance oltre che di sviluppo.
L’adozione delle nuove versioni è rapida: Claude Sonnet 4.6 ha raggiunto il 17% di adozione nel primo mese dalla disponibilità. Allo stesso tempo modelli precedenti come Claude Sonnet 4.5 e GPT-4o continuano a essere utilizzati, rispettivamente con il 19% e il 22% delle organizzazioni a marzo 2026. Il mercato non presenta quindi un singolo modello vincente per tutti gli scenari, ma una pluralità di soluzioni mantenute contemporaneamente in produzione.
La gestione del ciclo di vita dei modelli diventa così una funzione operativa necessaria. Le aziende devono verificare continuamente regressioni, variazioni di costo e differenze qualitative prima di sostituire un modello già integrato nei processi aziendali.
Gli agenti AI aumentano la velocità di sviluppo e la necessità di osservabilità
L’adozione degli agenti AI sta modificando il modo in cui vengono costruite le applicazioni generative. Framework come LangChain e il relativo ambiente di orchestrazione per agenti LangGraph, insieme a strumenti come Pydantic AI per la realizzazione di agenti tipizzati in Python e Vercel AI SDK per lo sviluppo di applicazioni AI multi-modello, forniscono componenti riutilizzabili per gestire stato, chiamate agli strumenti esterni e flussi decisionali multi-step.
Secondo Datadog, l’utilizzo dei framework agentici è quasi raddoppiato, passando da oltre il 9% delle organizzazioni all’inizio del 2025 a quasi il 18% all’inizio del 2026. Anche il numero di servizi che utilizzano questi framework è più che raddoppiato nello stesso periodo.
La semplificazione dello sviluppo introduce però nuovi livelli di complessità durante l’esecuzione. Un framework può aggiungere automaticamente gestione dello stato, chiamate agli strumenti, retry e ramificazioni del flusso operativo. Quando questi elementi crescono senza adeguati strumenti di analisi, diventa più difficile comprendere perché un agente abbia prodotto un determinato risultato o abbia consumato più risorse del previsto.
Per questo motivo la telemetria degli agenti diventa una componente essenziale. Le aziende devono osservare non soltanto il risultato finale, ma l’intera sequenza operativa: quali strumenti sono stati utilizzati, quali passaggi hanno aumentato la latenza, quali richieste hanno generato costi e dove il comportamento reale diverge dal flusso previsto. ## Il contesto diventa il nuovo elemento da progettare
La crescita delle capacità dei modelli linguistici sta modificando il modo in cui vengono costruite le applicazioni AI. Le finestre di contesto disponibili nei modelli più avanzati sono aumentate di diversi ordini di grandezza: in due anni si è passati da capacità nell’ordine dei 128 mila token fino a finestre che arrivano a due milioni di token in alcune fasce tariffarie. Questa evoluzione riduce il limite teorico della quantità di informazioni che possono essere fornite al modello, ma sposta il problema sulla qualità delle informazioni utilizzate.
Gli agenti stanno incorporando quantità crescenti di dati operativi: cronologie delle conversazioni, documenti recuperati tramite sistemi di ricerca, risultati prodotti dagli strumenti utilizzati durante l’esecuzione e vincoli definiti dalle policy aziendali. Questo contesto esteso è fondamentale per rendere gli agenti più affidabili e adattarli a casi d’uso complessi, ma richiede una progettazione specifica per evitare che la quantità di informazioni riduca la qualità delle decisioni.
I dati raccolti da Datadog mostrano una crescita significativa nell’utilizzo del contesto. Il numero medio di token presenti nelle richieste è più che raddoppiato per l’organizzazione mediana e quadruplicato per gli utenti al 90° percentile rispetto all’anno precedente.
L’aumento della dimensione dei prompt porta però nuove criticità. Quando la richiesta include troppa cronologia, documentazione recuperata, output degli strumenti e istruzioni operative, informazioni importanti possono essere nascoste da contenuti meno rilevanti. Il limite dei sistemi agentici si sposta quindi dalla disponibilità di spazio nel contesto alla capacità di selezionare le informazioni che influenzano realmente la decisione del modello.
Questo introduce il ruolo del context engineering, una disciplina che riguarda la selezione, compressione e organizzazione delle informazioni fornite agli LLM. La progettazione del contesto comprende attività come miglioramento della qualità dei dati recuperati, sintesi delle informazioni ridondanti, deduplicazione e definizione di una gerarchia chiara delle informazioni più importanti.
La capacità di costruire contesti efficaci diventa quindi un fattore determinante per la qualità degli agenti. Modelli con finestre sempre più ampie non eliminano la necessità di progettare attentamente quali informazioni fornire, in quale ordine e con quale livello di dettaglio.
Il prompt caching resta una leva economica poco utilizzata
L’evoluzione verso agenti sempre più strutturati sta aumentando anche la quantità di informazioni ripetute nelle chiamate ai modelli. Molti sistemi utilizzano grandi blocchi di istruzioni stabili che definiscono comportamento, policy, strumenti disponibili e vincoli operativi.
L’analisi delle tracce dei clienti Datadog evidenzia che il 69% dei token di input utilizzati nelle chiamate LLM deriva dai system prompt, cioè dalle istruzioni interne che guidano l’esecuzione dell’agente. Questo dato mostra quanto peso abbiano oggi gli elementi di configurazione e controllo rispetto alla richiesta dell’utente finale.
Quando queste informazioni rimangono identiche tra richieste successive, il prompt caching permette di evitare la rielaborazione completa delle parti già analizzate dal modello. La tecnica consente di ridurre latenza e costi mantenendo invariato il comportamento dell’applicazione, soprattutto nei sistemi nei quali istruzioni, policy e descrizioni degli strumenti vengono riutilizzate frequentemente.
Nonostante il potenziale, l’utilizzo del caching rimane limitato. Tra i modelli che supportano questa funzionalità, soltanto il 28% delle chiamate LLM analizzate presenta token di input letti dalla cache. La maggior parte delle applicazioni continua quindi a elaborare nuovamente l’intero contesto a ogni richiesta.
Una delle cause riguarda la struttura dei prompt. Per sfruttare il caching, le parti stabili devono mantenere una posizione coerente all’interno della richiesta. Se contenuti dinamici vengono inseriti troppo presto o blocchi che dovrebbero rimanere invariati vengono modificati tra richieste diverse, il sistema perde la possibilità di riutilizzare il contesto già elaborato.
La gestione della struttura dei prompt diventa quindi una pratica di ottimizzazione dell’infrastruttura AI, con effetti diretti su costi operativi e tempi di risposta.
La disponibilità dei modelli diventa un fattore critico per l’affidabilità
Con la crescita degli agenti aumenta anche l’esposizione ai limiti di capacità dei provider LLM. L’analisi delle chiamate raccolte attraverso Datadog Agent Observability mostra che gli errori legati al superamento dei limiti di richiesta sono la principale causa di fallimento delle chiamate ai modelli.
Nel febbraio 2026 il 5% degli span relativi alle chiamate LLM riportava un errore e il 60% di questi errori era associato a rate limit. Nel marzo successivo il 2% degli span LLM risultava in errore e i problemi legati ai limiti di capacità rappresentavano quasi un terzo dei casi, per un totale di quasi 8,4 milioni di errori.
La criticità riguarda soprattutto gli agenti che generano dinamicamente sequenze di chiamate. Sistemi basati su metodologie come ReAct o architetture con più agenti possono produrre aumenti improvvisi del numero di richieste. Quando una chiamata fallisce e il sistema attiva automaticamente procedure di retry, il carico può aumentare ulteriormente fino a generare una condizione di instabilità prolungata.
La gestione della capacità diventa quindi una componente dell’architettura applicativa. Le organizzazioni devono integrare meccanismi di coda, strategie di backoff, capacità di fallback e controlli sui consumi per evitare che un comportamento inatteso dell’agente provochi un’esaurimento delle risorse disponibili.
Un approccio utilizzato consiste nell’introdurre budget operativi per gli agenti, definendo limiti sul numero massimo di chiamate o token utilizzabili. Questi vincoli consentono di interrompere automaticamente cicli troppo lunghi e prevenire situazioni nelle quali un singolo processo assorba una quantità eccessiva di capacità.
Gli agenti aziendali sono ancora prevalentemente monolitici
L’evoluzione verso architetture AI più distribuite è ancora in una fase iniziale. Nonostante l’interesse crescente verso sistemi multi-agente e componenti specializzati, la maggior parte degli agenti utilizzati in produzione mantiene una struttura relativamente semplice.
L’analisi delle applicazioni agentiche condotta da Datadog mostra che il 59% delle richieste effettuate dagli agenti utilizza una sola chiamata a un servizio, mentre soltanto il 18% delle richieste end-to-end utilizza tre o più chiamate a servizi diversi. Il dato indica che molti agenti attuali concentrano ancora logica decisionale, gestione del contesto, accesso agli strumenti e interazione con il modello all’interno di un unico servizio applicativo.
Questa struttura consente di accelerare lo sviluppo iniziale, ma presenta limiti quando gli agenti crescono in complessità. L’integrazione progressiva di nuovi strumenti, fonti dati e capacità operative può trasformare rapidamente un singolo servizio in un componente difficile da analizzare e modificare.
Alcune organizzazioni stanno iniziando a sperimentare modelli architetturali differenti, nei quali gli agenti vengono esposti come servizi indipendenti oppure collaborano attraverso sistemi multi-agente. Questo approccio segue una logica simile alla trasformazione dei sistemi software tradizionali verso architetture a microservizi, con componenti specializzati che comunicano attraverso interfacce definite.
La distribuzione degli agenti introduce però nuovi requisiti di piattaforma. Per analizzare il comportamento di un processo AI che attraversa più servizi è necessario mantenere il contesto lungo tutta la catena di esecuzione, correlare le chiamate tra componenti differenti e includere nella rappresentazione dell’architettura anche gli strumenti utilizzati dagli agenti.
La sfida riguarda quindi la capacità di osservare un sistema nel quale il percorso operativo non è completamente definito dal codice applicativo, ma viene determinato dinamicamente dal modello linguistico. La tracciabilità delle decisioni, delle chiamate agli strumenti e delle variazioni di comportamento diventa una condizione necessaria per mantenere affidabilità e controllo.
L’AI Engineering diventa una disciplina operativa
L’evoluzione descritta da Datadog mostra un passaggio verso sistemi AI caratterizzati contemporaneamente da più modelli, contesti estesi, framework agentici e architetture sempre più distribuite. La crescita delle capacità dei modelli amplia le possibilità applicative, ma aumenta anche la superficie tecnica che deve essere governata.
La complessità non riguarda soltanto il modello linguistico. Gli ambienti AI aziendali devono gestire l’evoluzione dei prompt, la selezione dei modelli, la qualità del contesto, il comportamento degli agenti, la disponibilità dei provider e l’impatto economico delle richieste. Le finestre di contesto aumentano, i prompt diventano più articolati e cresce il rischio di variazioni difficili da individuare attraverso gli strumenti tradizionali di gestione del software.
Questa trasformazione richiede nuove competenze operative. Le organizzazioni devono sviluppare processi continui di valutazione degli agenti, progettare il contesto in modo intenzionale, mantenere elevata la qualità delle informazioni fornite ai modelli e governare la crescita del numero di modelli e componenti utilizzati.
Le pratiche consolidate dell’ingegneria dei sistemi rimangono centrali anche nell’era degli agenti AI. Il controllo dei budget di utilizzo, i meccanismi di backpressure per evitare sovraccarichi, i sistemi di fallback e il routing verso il modello più adatto diventano elementi fondamentali dell’architettura applicativa.
La maturità dell’AI aziendale dipenderà quindi dalla capacità di trasformare gli agenti in sistemi produttivi governabili: applicazioni nelle quali comportamento, prestazioni e costi vengono misurati continuamente e nei quali modelli, contesto e infrastruttura possono evolvere senza perdere affidabilità.
