Una fotografia, il rumore di un apparecchio in funzione e il filmato della sua ventola possono essere valutati insieme, ottenendo probabilità che un’applicazione usa per verificare un’installazione. È il tipo di elaborazione consentito da Clef-omni, il modello decisionale multimodale presentato da Cloudflare: alla lettura di testo e immagini aggiunge audio e video con suono, concentrando l’analisi in una sola chiamata API. L’aggiornamento comprende anche una riduzione del prezzo di Clef-flash e tempi di risposta più brevi per Clef sulla piattaforma Workers AI.
A una settimana dal debutto di Clef e Clef-flash, Cloudflare estende quindi una famiglia di modelli a pesi aperti progettati per classificare informazioni e valutare le opzioni definite dal software. L’applicazione fornisce la situazione da esaminare e uno schema di domande, ricevendo probabilità e punteggi con i quali può scegliere il passaggio successivo di un processo. In questo ambito si inserisce anche Microsoft Decision-1, il modello presentato da Microsoft per le decisioni del software. La rapidità di sviluppo ha caratterizzato anche il progetto iniziale di Cloudflare: il team ha deciso di lavorare sui modelli decisionali un venerdì sera, li ha addestrati nel fine settimana e li ha resi disponibili il giovedì successivo.
Una chiamata per testo, immagini, audio e video
Il primo Clef supportava immagini e sequenze di fotogrammi video; con la variante omni diventano utilizzabili direttamente file audio WAV o MP3 e video MP4 o WebM, insieme ai contenuti testuali e visivi. Questo permette di costruire flussi nei quali il modello interpreta le diverse componenti del contenuto senza dover concatenare una trascrizione del parlato, l’analisi delle immagini e una successiva valutazione testuale, oppure separare preventivamente suono e immagini di un filmato.
Nell’esempio dell’installazione proposto da Cloudflare, lo sviluppatore invia una foto dell’unità, una registrazione del suo funzionamento e un video della ventola. Tre domande verificano se nella foto sia visibile l’etichetta con modello e numero di serie, se il suono indichi un funzionamento regolare, senza vibrazioni o rumori di sfregamento, e se nel filmato la ventola stia girando. I quesiti usano il tipo noul, che restituisce la probabilità che un’affermazione sia vera; il formato della famiglia comprende anche choice, per scegliere fra opzioni definite, e score, per valutazioni su una scala ordinata.
Su Workers AI, l’identificativo del modello è @cf/cloudflare/clef-omni. La richiesta contiene lo stato da valutare, le domande e gli array images, audio e videos, con i file incorporati come data URL in base64. Le risposte restano associate agli identificativi delle domande, così il programma può applicare le proprie regole ai risultati.
La versione hosted di Clef-omni dispone di una finestra di contesto di 64 mila token e accetta da una a 64 domande. Ogni richiesta può includere fino a quattro immagini, quattro clip audio e due video; gli URL remoti dei file non sono accettati. Le clip audio possono durare fino a 300 secondi e occupare 8 MiB ciascuna, i video fino a 60 secondi e 16 MiB ciascuno, con un massimo complessivo di 16 MiB per audio e video decodificati. I filmati vengono campionati a due fotogrammi al secondo; la traccia sonora viene elaborata insieme ai fotogrammi quando tutti i video della richiesta ne contengono una.
Anche i contenuti multimediali concorrono al consumo di token: ogni immagine ha un limite di 1.024 token, l’audio vale circa 780 token al minuto e il video arriva a circa 15.400 token al minuto alla risoluzione massima, più quelli del suono. Un filmato a 480p usa circa 8.600 token visivi al minuto. Se media e domande superano il contesto, la richiesta fallisce; altrimenti il testo dello stato viene troncato per rientrare nello spazio residuo. Non vengono addebitati token di output.
Come vengono calcolate le decisioni multimodali
La base di Clef-omni è Qwen3-Omni-30B-A3B-Instruct, un’architettura mixture-of-experts (MoE), da 30 miliardi di parametri con 3 miliardi attivi. Questo tipo di rete utilizza componenti specializzate, selezionandone una parte durante l’elaborazione, e dispone già della capacità di interpretare testo, immagini, audio e video all’interno dello stesso percorso. Cloudflare ne impiega la componente di comprensione e lascia fuori dall’esecuzione le componenti per la generazione del parlato.
Il modello esegue un passaggio di prefill, cioè l’elaborazione iniziale dell’intero input, durante il quale valuta insieme le modalità presenti e tutte le opzioni ammesse dallo schema. Audio e fotogrammi sono sincronizzati nella sequenza unificata: le informazioni pertinenti alla decisione possono quindi provenire tanto da una frase quanto da un elemento visivo o da un suono. Le risposte vengono ricavate direttamente dalle rappresentazioni interne del contenuto, senza generare prima una trascrizione, una didascalia o un testo libero da interpretare.
Il collegamento fra contenuti e risposte usa un meccanismo di attenzione in due fasi. Ogni opzione raccoglie dapprima le evidenze utili dall’input; successivamente, le rappresentazioni dei campi interrogano il contesto completo per calcolare i punteggi di confidenza. Una grammatica lessicale integrata preserva il significato delle opzioni, mantenendo la valutazione entro le risposte consentite dall’applicazione.
Durante l’addestramento, i pesi della rete Qwen3 rimangono fissi e vengono addestrati adattatori LoRA, ossia componenti aggiuntive a basso rango che permettono di specializzare il modello. Il post-addestramento combina entropia incrociata con label smoothing, che rende meno rigido l’obiettivo associato alla sola etichetta corretta, e calibrazione mediante Brier score, basata sullo scarto fra probabilità previste ed esiti di riferimento. L’obiettivo è mantenere decisioni utilizzabili anche quando cambiano la struttura dello schema, l’ordine dei campi o la formulazione delle istruzioni, con probabilità che possano guidare le soglie applicate dal software.
Latenza e risultati nei benchmark
Nei dati pubblicati da Cloudflare, Clef-omni risponde alle decisioni su solo testo in circa 130 millisecondi alla mediana, mentre con immagini il valore è di circa 150 millisecondi. Le clip audio richiedono qualche centinaio di millisecondi; un video completo di 21 secondi con suono viene valutato in circa 1,5 secondi, sempre attraverso una sola chiamata API.
La qualità varia in base al compito. Nei dieci benchmark riportati nell’annuncio, Clef-omni ottiene il punteggio più alto su BANKING77, CLINC150+OOS e Amazon ESCI; Clef conserva un vantaggio su ToolRet e PhishNChips, mentre Clef-flash prevale su BFCL, API-Bank e Home appliances. Jev, il modello decisionale di TypeSafe usato come termine di confronto, resta davanti su When2Call e BRIGHT. La variante omni amplia dunque i tipi di input utilizzabili, con un profilo di accuratezza che va valutato rispetto all’attività da automatizzare.
I valori seguenti sono quelli pubblicati da Cloudflare, sulla scala percentuale. La corrispondenza esatta misura la correttezza dell’intero caso; l’accuratezza la quota di risposte corrette; macro-F1 assegna uguale peso alle diverse classi combinando precisione e richiamo; nDCG@10 valuta la qualità dell’ordinamento dei primi dieci risultati.
dammi tabelle formattate inline per 01net nel seguente html (ridammelo completo)
| Benchmark e metrica | Clef-omni | Clef | Clef-flash | Jev |
| BFCL, corrispondenza esatta | 98,2 | 98,47 | 98,76 | 95,75 |
| ToolRet, nDCG@10 | 66,6 | 69,19 | 66,43 | 65,28 |
| API-Bank, accuratezza | 92,7 | 91,93 | 93,11 | 88,19 |
| Home appliances, corrispondenza esatta | 69,3 | 82,95 | 97,73 | 52,27 |
| When2Call, accuratezza | 63,3 | 72,37 | 65,58 | 80,97 |
| BANKING77, macro-F1 | 94,8 | 94,20 | 90,93 | 79,74 |
| CLINC150+OOS, macro-F1 | 97,7 | 97,43 | 66,77 | 89,27 |
| BRIGHT, nDCG@10 | 42,0 | 45,91 | 39,26 | 47,52 |
| Amazon ESCI, macro-F1 | 57,8 | 57,48 | 57,39 | 55,21 |
| PhishNChips, accuratezza | 73,2 | 79,60 | 75,05 | 62,55 |
Il confronto comprende anche i flussi aziendali di valutazione TypeSafe. La metrica Exact actions considera la corrispondenza dell’insieme delle azioni, mentre Primary action riguarda l’azione principale. Clef-omni supera Clef-flash nell’elaborazione delle fatture, resta sotto gli altri tre modelli nell’assistenza clienti e nell’osservabilità delle tracce degli agenti, ed eguaglia Clef-flash e Jev sugli incidenti di sicurezza.
| Flusso e metrica | Clef-omni | Clef | Clef-flash | Jev |
| Elaborazione fatture, Exact actions | 60,2 | 64,7 | 57,1 | 61,8 |
| Elaborazione fatture, Primary action | 82,0 | 86,2 | 73,3 | 83,1 |
| Assistenza clienti, Exact actions | 71,6 | 76,3 | 77,0 | 76,0 |
| Incidenti di sicurezza, Exact actions | 61,7 | 62,9 | 61,7 | 61,7 |
| Osservabilità delle tracce degli agenti, Primary action | 65,8 | 68,5 | 69,8 | 71,6 |
Clef-flash costa meno, con un contesto più piccolo
La tariffa di Clef-flash su Workers AI scende da 0,09 a 0,038 dollari per milione di token in ingresso, una riduzione di circa il 58% che, secondo il confronto di Cloudflare, lo rende meno costoso di Jev. Clef mantiene il prezzo di 0,24 dollari per milione di token, mentre Clef-omni debutta a 0,15 dollari per milione di token. I file multimediali vengono convertiti in token e fatturati alla tariffa di input del modello utilizzato.
Il prezzo più basso della variante flash si accompagna a un limite concreto: la finestra di contesto del servizio ospitato passa dai 64 mila token precedentemente annunciati a 24 mila token, pari a 24.576 token nel limite operativo indicato per Workers AI. Cloudflare motiva la scelta con i dati di utilizzo, nei quali soltanto lo 0,24% delle richieste supera questa dimensione. Per gli input più estesi resta disponibile Clef, con un contesto indicato nell’annuncio come 64 mila token e pari a 65.536 token nel servizio.
La modifica riguarda il servizio su Workers AI. I pesi di Clef-flash distribuiti su Hugging Face restano invariati e sono stati addestrati per supportare un contesto di 256 mila token nell’esecuzione sulla propria infrastruttura.
Clef riduce i tempi di risposta su Workers AI
Per il modello Clef, Cloudflare ha ottimizzato soprattutto l’infrastruttura che esegue e serve le richieste, senza distribuire nuovi pesi né modificare sostanzialmente l’architettura. Con un input di circa 3.400 token, la latenza mediana passa da 616 a 305 millisecondi; i miglioramenti raggiungono un fattore di circa 1,7 con input da 800 e 16 mila token.
Il confronto comprende anche il 95° percentile, o p95, cioè il tempo entro il quale viene completato il 95% delle richieste: permette di osservare il comportamento sulle risposte più lente oltre al valore mediano.
| Dimensione dell’input | Prima: mediana / p95, ms | Ora: mediana / p95, ms | Miglioramento alla mediana |
| Circa 800 token | 262 / 438 | 152 / 351 | 1,7× |
| Circa 3.400 token | 616 / 777 | 305 / 531 | 2,0× |
| Circa 16.000 token | 2.721 / 3.250 | 1.635 / 1.805 | 1,7× |
Fra gli interventi c’è il passaggio a SGLang, il sistema per l’esecuzione dei modelli. Cloudflare ha collaborato con il team del progetto al supporto di Clef e Clef-flash: la pull request #42721 è stata integrata il 9 ottobre e l’annuncio indica SGLang 0.5.22 come versione prevista per la distribuzione. I comandi per eseguire Clef sulla propria infrastruttura sono disponibili nel repository aggiornato su Hugging Face e nel cookbook SGLang dedicato.
Pesi aperti e impieghi nei team Cloudflare
Clef-omni è disponibile su Workers AI e i suoi pesi sono scaricabili da Hugging Face con licenza Apache 2.0. Per l’esecuzione locale, la scheda del modello riporta test su una singola GPU H200 con PyTorch 2.11 e Transformers 5.10.2; la rete di base richiede circa 64 GB di memoria GPU in bfloat16. I componenti per produrre il parlato sono inclusi nei file distribuiti, ma restano inutilizzati e non vengono caricati dalla funzione di caricamento del modello: la loro esclusione riguarda quindi l’esecuzione.
La famiglia mantiene la compatibilità con l’API di Jev ed è accessibile tramite AI Gateway. Per un’integrazione che usa già quel formato, il cambio dell’identificativo del modello permette di provare Clef conservando la struttura delle richieste e delle risposte.
All’interno di Cloudflare, i team stanno usando Clef per classificazioni e rilevamenti in domini diversi. Il modello concentra queste capacità nello strato AI, rendendole utilizzabili tramite una chiamata; i piccoli classificatori zero-shot, capaci di valutare categorie senza esempi specifici, potevano invece richiedere ulteriori adattamenti, una raccolta di dati del dominio e un gruppo di machine learning dedicato.
Nel repository pubblico della documentazione su GitHub, Clef rileva e chiude le segnalazioni spam. EmDash, il sistema di gestione dei contenuti di Cloudflare, lo impiega per individuare phishing nelle librerie di plugin; il team di prevenzione della perdita di dati analizza invece i contenuti alla ricerca di informazioni che possono identificare una persona, come gli identificativi rilasciati dalle autorità pubbliche. Il gruppo di threat intelligence usa infine Clef per contribuire al rilevamento dei domini malevoli.
