Far funzionare l’intelligenza artificiale costa, ma mantenere migliaia di GPU pronte a eseguire modelli e applicazioni che potrebbero rimanere inutilizzate è ancora più costoso. Modal ha costruito un’infrastruttura serverless che assegna capacità computazionale in funzione della domanda, distribuendo i carichi di lavoro su oltre 20 provider cloud e gestendo anche gli ambienti nei quali gli agenti AI eseguono codice e operazioni autonome. La crescita della piattaforma ha attirato 750 milioni di dollari di nuovi finanziamenti, facendo salire la valutazione della società statunitense a 15,75 miliardi di dollari, mentre il suo annualized run rate ha superato il miliardo di dollari.
Fondata nel 2021 a New York da Erik Bernhardsson e Akshat Bubna, rispettivamente CEO e CTO, Modal opera attraverso Modal Labs Inc., società di diritto statunitense. Bernhardsson, di origine svedese, ha lavorato allo sviluppo di infrastrutture dati in Spotify, dove ha contribuito alla realizzazione dei sistemi di raccomandazione musicale, e successivamente è stato CTO di Better.com.
Il finanziamento Series D è stato guidato da Accel, con la partecipazione di Kleiner Perkins e degli investitori già presenti nel capitale, tra cui Menlo Ventures, General Catalyst, Redpoint, Lux Capital, Amplify Partners e Bain Capital Ventures.
Appena cinque mesi fa Modal aveva raccolto 355 milioni di dollari, raggiungendo una valutazione di 4,65 miliardi. Da allora il suo valore è più che triplicato, mentre l’utilizzo della piattaforma è cresciuto di tre volte. Su base annua la crescita supera le quindici volte e i ricavi, proiettati su dodici mesi al ritmo attuale (annualized run rate), hanno superato il miliardo di dollari.
La diffusione di applicazioni multimodali, sistemi agentici e tecniche di addestramento basate sul reinforcement learning richiede infrastrutture capaci di attivare rapidamente risorse computazionali, gestire migliaia di processi contemporanei e adattare la capacità disponibile alla domanda. Modal utilizza il modello serverless per affrontare queste esigenze, rendendo accessibili attraverso un’interfaccia software comune servizi di inferenza, addestramento distribuito e ambienti di esecuzione isolati.
Come funziona l’infrastruttura serverless di Modal
Il modello serverless permette agli sviluppatori di eseguire applicazioni senza occuparsi direttamente del provisioning e dell’amministrazione dei server. Le risorse vengono assegnate automaticamente quando sono necessarie e ridotte quando il carico diminuisce, con una fatturazione generalmente proporzionale al consumo.
Nelle applicazioni AI questo modello assume caratteristiche specifiche, dovute sia al costo delle GPU sia alla variabilità delle richieste.
Un servizio di generazione video, per esempio, può richiedere centinaia di acceleratori durante un picco di utilizzo e una capacità molto inferiore nelle ore successive. Un agente AI può invece avviare numerosi processi indipendenti per eseguire codice, analizzare documenti o completare operazioni per conto degli utenti, terminandoli una volta concluso il lavoro.
Nelle infrastrutture cloud tradizionali le aziende possono riservare capacità GPU per periodi relativamente lunghi oppure sviluppare sistemi di orchestrazione che aumentano e riducono le risorse disponibili. Nel primo caso si rischia di pagare acceleratori inutilizzati; nel secondo occorre gestire un’infrastruttura software complessa.
Modal automatizza l’allocazione delle risorse attraverso una piattaforma programmabile in Python, nella quale gli sviluppatori definiscono le funzioni da eseguire, le dipendenze software e i requisiti computazionali.
L’SDK permette di specificare, per esempio, che una funzione richiede una GPU NVIDIA H100, una determinata quantità di memoria e un ambiente software contenente le librerie necessarie all’esecuzione del modello. Modal provvede a predisporre l’ambiente, assegnare le risorse e distribuirvi le richieste.
Le applicazioni possono essere richiamate attraverso API, eseguite come attività pianificate oppure utilizzate per elaborazioni batch.
Il modello ricorda quello dei servizi Function as a Service, come AWS Lambda, ma è stato sviluppato per supportare workload AI che richiedono acceleratori specializzati, grandi quantità di memoria e operazioni di lunga durata.
La possibilità di scalare automaticamente fino a zero consente di interrompere il consumo di risorse quando non vi sono richieste da elaborare.
Un’architettura proprietaria distribuita su oltre 20 cloud
La piattaforma utilizza risorse computazionali distribuite su oltre 20 provider cloud, coordinandole attraverso componenti sviluppati internamente.
Modal ha realizzato un proprio container runtime, un file system, uno scheduler e sistemi di networking, intervenendo su componenti che normalmente vengono gestiti attraverso tecnologie di orchestrazione come Kubernetes.
L’architettura permette di utilizzare capacità GPU proveniente da provider differenti attraverso un’interfaccia comune, separando il codice applicativo dai dettagli dell’infrastruttura sottostante.
Quando un’applicazione richiede l’esecuzione di un modello AI, occorre predisporre il software e caricare i pesi del modello nella memoria dell’acceleratore, operazione che può richiedere diversi secondi o minuti a seconda delle dimensioni.
Il tempo necessario a predisporre l’ambiente e caricare il modello, il cosiddetto cold start, incide direttamente sulla latenza e sull’efficienza economica dell’inferenza AI in modalità serverless.
Modal utilizza sistemi di caching e tecniche di GPU snapshotting, che permettono di salvare lo stato della memoria dell’acceleratore dopo il caricamento e l’inizializzazione del modello, per ripristinarlo alle esecuzioni successive. Nel precedente annuncio Series C, la società aveva dichiarato una riduzione fino a cento volte dei tempi di avvio (cold start), grazie alla possibilità di riutilizzare gli ambienti già inizializzati anziché ricrearli a ogni richiesta.
La velocità di allocazione delle risorse consente di gestire applicazioni caratterizzate da picchi improvvisi della domanda, riducendo la necessità di mantenere permanentemente attiva la capacità necessaria a soddisfarli.
Inferenza AI: dai Large Language Model alla generazione di video
Il primo componente della piattaforma è stato Modal Functions, che permette di eseguire funzioni software su CPU e GPU gestite dal servizio.
Questa tecnologia viene utilizzata per l’inferenza dei modelli linguistici, la generazione di immagini, video e audio, le elaborazioni scientifiche e le pipeline di dati.
Modal supporta motori di inferenza open source come vLLM e SGLang, consentendo alle aziende di eseguire modelli open-weight o personalizzati attraverso infrastrutture gestite dalla piattaforma.
Gli Shared Endpoints permettono di utilizzare modelli già disponibili attraverso API compatibili con quelle di OpenAI, con fatturazione basata sui token elaborati.
Gli endpoint dedicati consentono invece di scegliere il modello, il motore di inferenza, il tipo di GPU e le configurazioni necessarie per ottimizzare latenza, throughput e costi.
Questa seconda modalità è particolarmente utile per le aziende che sviluppano modelli personalizzati, effettuano fine-tuning sui propri dati o devono mantenere il controllo delle prestazioni delle applicazioni in produzione.
Con Endpoint Candidates, Modal permette di confrontare configurazioni differenti utilizzando traffico rappresentativo delle richieste reali. Gli sviluppatori possono valutare le prestazioni di un nuovo modello o di un diverso motore di inferenza prima di sostituire la configurazione utilizzata in produzione.
L’offerta comprende anche Modal Servers, progettato per l’esecuzione di servizi HTTP persistenti, affiancando alle funzioni serverless tradizionali una modalità adatta alle applicazioni che richiedono processi continuamente disponibili.
Tra i clienti figurano Runway, specializzata nella generazione video, e Suno, attiva nella generazione musicale. Quest’ultima utilizza Modal per produrre milioni di brani al giorno, aumentando la capacità fino a migliaia di GPU nei momenti di maggiore domanda e riducendola successivamente.
DoorDash utilizza la piattaforma per gestire il passaggio delle applicazioni AI dalla sperimentazione alla produzione, mentre Physical Intelligence impiega Modal anche per l’inferenza in tempo reale applicata alla robotica.
Le applicazioni comprendono inoltre la ricerca farmaceutica, con aziende come Chai Discovery e Achira, e i sistemi di intelligenza artificiale per robot sviluppati da Generalist AI e 1X.
Modal cita anche il caso di Jev, il prodotto di TypeSafe AI che ha elaborato mille miliardi di token nei primi tre giorni di attività sulla piattaforma.
Modal Sandboxes, gli ambienti di esecuzione per gli agenti AI
Una delle componenti a maggiore crescita dell’offerta è rappresentata dai Modal Sandboxes, ambienti isolati nei quali gli agenti AI possono eseguire programmi e interagire con sistemi software.
Il prodotto è stato introdotto nel 2023, quando gli sviluppatori hanno iniziato a utilizzare i modelli linguistici per generare codice eseguibile.
Un agente di programmazione, per esempio, può creare file, installare dipendenze, avviare test e modificare un progetto software. Queste operazioni richiedono un ambiente nel quale il codice generato possa essere eseguito, separato dagli altri processi e dalle risorse del sistema che lo ospita.
I Sandboxes permettono di creare questi ambienti attraverso API, avviare comandi, gestire file e recuperare i risultati delle elaborazioni.
La funzionalità viene utilizzata dagli agenti di sviluppo software, dai sistemi che svolgono operazioni in background e dalle applicazioni che richiedono l’esecuzione di codice generato automaticamente.
Il prodotto ha raggiunto autonomamente 300 milioni di dollari di run rate annualizzato, pari al 30% del valore complessivo comunicato da Modal.
La società riferisce inoltre di aver creato complessivamente quasi tre miliardi di Sandboxes, rispetto al miliardo dichiarato nel precedente annuncio finanziario di maggio.
Tra le aziende che utilizzano Modal per applicazioni agentiche figurano Cognition, Ramp, Linear e Hebbia.
Cognition utilizza l’infrastruttura sia per il reinforcement learning sia per l’inferenza dei modelli in produzione. Ramp impiega gli agenti AI anche nei processi di sviluppo software, mentre altre applicazioni eseguono autonomamente operazioni specializzate per conto degli utenti.
Un milione di ambienti isolati contemporaneamente
La crescita degli agenti AI richiede di gestire numeri elevati di ambienti di esecuzione, spesso creati e terminati nell’arco di pochi secondi.
Modal ha riprogettato l’architettura dei Sandboxes per aumentare il numero di ambienti attivabili contemporaneamente e ridurre i tempi necessari alla loro creazione.
Nei test tecnici pubblicati a luglio, la società ha dimostrato la possibilità di eseguire un milione di Sandboxes contemporanei, completandone la creazione in meno di un minuto.
La nuova architettura utilizza server di scheduling distribuiti, che operano in parallelo e mantengono in memoria le informazioni necessarie a individuare rapidamente i nodi disponibili. Una volta selezionato il nodo, lo scheduler comunica direttamente con il sistema incaricato di creare l’ambiente.
Ogni nodo pubblica periodicamente il proprio stato attraverso Redis Streams, permettendo agli scheduler di aggiornare le informazioni sulla capacità disponibile senza interrogare continuamente un database centrale.
La registrazione persistente dei metadati e dei risultati viene eseguita prevalentemente in modo asincrono, riducendo le operazioni di coordinamento necessarie per ogni Sandbox.
La piattaforma supportava già, al momento della pubblicazione dei test, fino a 50.000 Sandboxes concorrenti per singolo cliente. Il milione di ambienti rappresenta la capacità dimostrata dell’infrastruttura complessiva, con limiti operativi per cliente che dipendono dalla configurazione del servizio.
La gestione di un numero così elevato di processi è importante anche per il reinforcement learning, che può richiedere numerose esecuzioni parallele per raccogliere esperienze e valutare i comportamenti di un modello.
Le macchine virtuali Linux ampliano le possibilità degli agenti
La disponibilità generale dei VM Sandboxes, annunciata all’inizio di ottobre, amplia ulteriormente gli ambienti utilizzabili dagli agenti AI.
Accanto ai Sandboxes containerizzati, Modal permette di creare macchine virtuali Linux complete, sulle quali gli agenti possono utilizzare Docker, database locali, server di sviluppo e altri strumenti che richiedono funzionalità di sistema più estese.
Un agente incaricato di modificare un’applicazione può così eseguire un ambiente di sviluppo articolato, avviare servizi e verificare il funzionamento del software utilizzando un sistema virtualizzato dedicato.
Le macchine virtuali possono essere create e controllate attraverso le stesse API utilizzate per i Sandboxes tradizionali.
La distinzione tra ambienti containerizzati e macchine virtuali consente agli sviluppatori di scegliere il livello di isolamento e le funzionalità necessarie in base alle operazioni che l’agente deve svolgere.
Le applicazioni comprendono gli agenti di coding, le piattaforme di sviluppo assistito dall’AI e i sistemi che eseguono attività prolungate in autonomia.
Modal Clusters estende il serverless all’addestramento distribuito
L’addestramento dei modelli richiede modalità di gestione delle risorse differenti rispetto all’inferenza.
Mentre un servizio di inferenza può elaborare richieste indipendenti, l’addestramento distribuito deve coordinare numerosi acceleratori che lavorano contemporaneamente sullo stesso modello, scambiandosi parametri e risultati intermedi.
Con Modal Clusters, recentemente reso disponibile in versione generale, la società permette agli sviluppatori di creare cluster GPU multinodo attraverso il codice, senza prenotare anticipatamente capacità computazionale per periodi prolungati.
Un cluster può essere richiesto attraverso un decorator Python, lasciando alla piattaforma il compito di predisporre i nodi e configurare le comunicazioni tra gli acceleratori.
La tecnologia supporta RDMA, Remote Direct Memory Access, che permette di trasferire dati tra sistemi riducendo il coinvolgimento delle CPU.
Modal dichiara di supportare comunicazioni RDMA fino a 6,4 Tbps per nodo, predisponendo automaticamente le configurazioni necessarie all’utilizzo di framework come PyTorch e della libreria NCCL di NVIDIA.
La comunicazione ad alta velocità tra GPU è determinante per l’efficienza dell’addestramento distribuito, perché gli acceleratori devono sincronizzare frequentemente le informazioni elaborate.
Modal Clusters viene utilizzato anche per applicazioni di inferenza multinodo, nelle quali un modello è troppo grande per essere eseguito interamente sulla memoria di un singolo acceleratore.
Tra le applicazioni figurano l’addestramento dei modelli per gli agenti di assistenza clienti di Decagon, lo sviluppo dei sistemi di intelligenza artificiale per il robot NEO di 1X e l’inferenza distribuita utilizzata da Runway per la generazione video.
I costi del serverless GPU e il confronto con i cloud tradizionali
Il modello commerciale di Modal combina piani di accesso con una tariffazione basata sulle risorse computazionali consumate.
Il listino ufficiale comprende un piano Starter senza canone mensile, con 30 dollari di crediti computazionali inclusi ogni mese, e un piano Team da 250 dollari mensili, che comprende 100 dollari di crediti.
Il piano Enterprise prevede condizioni personalizzate, sconti legati ai volumi, maggiori limiti di concorrenza e funzionalità dedicate alla sicurezza e all’amministrazione degli ambienti.
Per le elaborazioni GPU, la fatturazione avviene al secondo e dipende dal tipo di acceleratore utilizzato.
I prezzi pubblicati comprendono, per esempio, 3,95 dollari l’ora per una NVIDIA H100 SXM5, 4,54 dollari per una H200 SXM e 6,25 dollari per una B200. CPU e memoria vengono fatturate separatamente, mentre per i Sandboxes sono previste tariffe specifiche.
Il servizio supporta anche acceleratori meno costosi, come NVIDIA L4 e T4, utilizzabili per applicazioni con requisiti computazionali inferiori.
La granularità della fatturazione permette di evitare impegni di utilizzo prolungati, pur lasciando alcuni costi associati all’inizializzazione e al mantenimento degli ambienti.
Modal fattura infatti anche il tempo necessario al caricamento delle applicazioni e, per impostazione predefinita, mantiene i container attivi per 60 secondi dopo l’ultima richiesta, un intervallo configurabile che rimane soggetto a fatturazione.
Per CPU e memoria viene inoltre considerato il valore maggiore tra le risorse richieste e quelle effettivamente utilizzate.
La convenienza del serverless dipende quindi dalla capacità di ridurre il tempo durante il quale le risorse rimangono allocate senza elaborare richieste.
Per carichi di lavoro stabili, le istanze riservate dei grandi provider possono offrire costi orari inferiori. Le applicazioni soggette a oscillazioni della domanda possono invece beneficiare della possibilità di assegnare acceleratori soltanto quando sono necessari.
La piattaforma è acquistabile anche attraverso i marketplace AWS e Google Cloud, consentendo alle organizzazioni idonee di utilizzare gli impegni di spesa già sottoscritti con questi provider.
Dove vengono elaborati e conservati i dati delle imprese europee
La distribuzione dell’infrastruttura su oltre 20 provider cloud offre alle aziende la possibilità di scegliere la localizzazione delle elaborazioni, un aspetto rilevante per le organizzazioni europee che utilizzano modelli AI e agenti autonomi per trattare informazioni riservate, dati personali e documenti aziendali.
Modal permette di selezionare la regione geografica nella quale eseguire i workload. La funzionalità, inizialmente riservata ad alcuni piani commerciali, è disponibile su tutti i piani dal febbraio 2025.
Attraverso il parametro region, gli sviluppatori possono vincolare l’esecuzione di Functions e Sandboxes a specifiche aree geografiche, comprese quelle europee. La selezione può riguardare regioni ampie, come eu, oppure aree più circoscritte.
Il vincolo geografico è rigoroso: quando viene selezionata una regione, Modal non trasferisce automaticamente il workload altrove neppure in caso di esaurimento della capacità disponibile.
Questa impostazione riduce la flessibilità del sistema, perché limita il numero di risorse utilizzabili, e comporta un sovrapprezzo rispetto alle tariffe standard.
La localizzazione dei container costituisce tuttavia soltanto uno degli aspetti della residenza dei dati.
L’architettura di Modal distingue infatti la regione nella quale vengono eseguiti i processi computazionali da quella attraverso la quale transitano le richieste.
Per impostazione predefinita, gli input delle Functions attraversano il control plane situato in Virginia, negli Stati Uniti, prima di essere inoltrati ai container.
Nel maggio 2026 Modal ha introdotto una funzionalità di regional routing, che permette di utilizzare server di instradamento situati anche in Europa, riducendo la necessità di far transitare le richieste attraverso gli Stati Uniti. La disponibilità dipende dal prodotto e dalla modalità di esecuzione utilizzata.
Per i Sandboxes, il traffico applicativo può raggiungere direttamente il container nella regione selezionata, mentre le operazioni di gestione del ciclo di vita, come la creazione e la terminazione degli ambienti, continuano a utilizzare il control plane statunitense.
Una distinzione importante riguarda lo storage: i servizi di archiviazione persistente nativi di Modal, tra cui Volumes, Images, Dicts, Queues e Secrets, conservano i dati negli Stati Uniti, indipendentemente dalla regione scelta per l’esecuzione dei container.
Anche i log applicativi vengono archiviati negli Stati Uniti, così come gli snapshot dei Sandboxes e alcune categorie di payload, comprese le richieste asincrone delle Functions.
Per le aziende che devono mantenere determinate informazioni esclusivamente all’interno dell’Unione europea, Modal consiglia di utilizzare storage esterno localizzato nella regione richiesta, collegandolo ai container attraverso i Cloud bucket mounts, e di evitare la registrazione di informazioni sensibili nei log.
Sul piano contrattuale, i Terms of Service disciplinano la selezione delle regioni di trattamento, mentre il Data Processing Addendum comprende le clausole contrattuali standard per i trasferimenti internazionali di dati personali previsti dal GDPR.
Modal rimane un fornitore statunitense, soggetto alla relativa giurisdizione, anche quando i workload vengono eseguiti in data center europei.
Per le imprese che adottano la piattaforma, la valutazione della sovranità digitale comprende quindi la localizzazione dell’elaborazione, il percorso delle richieste, la conservazione dei dati, le responsabilità dei subfornitori e la giurisdizione applicabile al gestore dell’infrastruttura.
La crescita di Modal e il mercato delle infrastrutture AI
Modal conta oggi oltre 200 dipendenti distribuiti tra New York, San Francisco e Stoccolma. La società dispone inoltre di una sede a Londra, rafforzando la propria presenza europea anche sul piano commerciale e organizzativo.
Il finanziamento Series D sostiene lo sviluppo dei componenti infrastrutturali necessari all’esecuzione dei sistemi AI, un settore nel quale la domanda si sta diversificando rapidamente.
L’inferenza dei modelli linguistici continua a rappresentare un’importante fonte di consumo computazionale, ma la diffusione degli agenti autonomi e delle applicazioni multimodali introduce requisiti differenti.
Un sistema agentico può effettuare numerose chiamate a modelli AI, eseguire programmi, interagire con database e utilizzare ambienti virtuali temporanei. Un’applicazione di reinforcement learning può richiedere simultaneamente cluster GPU per l’addestramento e migliaia di ambienti isolati per valutare il comportamento del modello.
Modal riunisce questi workload attraverso un’infrastruttura serverless comune, che comprende servizi di inferenza, risorse computazionali elastiche, ambienti per agenti e strumenti per l’addestramento distribuito.
La valutazione di 15,75 miliardi di dollari, pari a circa 15,75 volte il run rate annualizzato dichiarato, riflette le aspettative degli investitori sulla crescita di questo mercato e sulla capacità di Modal di acquisire una quota significativa della spesa destinata all’esecuzione delle applicazioni AI.
