Muse Voice Transcribe è il primo modello di percezione audio real-time sviluppato da Meta Superintelligence Labs e combina nello stesso sistema streaming automatic speech recognition (ASR), diarizzazione ed endpointing. Trascrive quindi il parlato mentre arriva, distingue gli interlocutori e rileva l’inizio e la fine dei turni di conversazione.
Sono informazioni particolarmente importanti negli assistenti vocali e nelle applicazioni agentiche. Una trascrizione può essere accurata senza stabilire chi abbia pronunciato una frase; allo stesso modo, il semplice rilevamento di una pausa non permette necessariamente di capire se una persona abbia davvero concluso il proprio intervento. Muse Voice Transcribe incorpora questi segnali nella stessa sequenza elaborata dal modello.
Il modello decide parola per parola quanto continuare ad ascoltare
Muse Voice Transcribe appartiene alla famiglia Muse Spark ed è un modello multimodale autoregressivo. L’audio viene elaborato in blocchi di 80 millisecondi, equivalenti a una frequenza di 12,5 Hz, ciascuno trasformato in un singolo soft token, cioè una rappresentazione interna dell’audio utilizzabile dal modello insieme ai token testuali.
A ogni nuovo blocco il modello può scegliere se produrre testo oppure continuare ad ascoltare. Nel secondo caso genera internamente il token speciale <|next_audio|>, che viene sostituito dal successivo frammento audio. Quando il flusso termina, <|empty_audio|> segnala che non arriveranno altri blocchi e il modello può completare i token testuali ancora necessari.
La conseguenza è che il ritardo della trascrizione non deve essere identico per ogni parola. La tecnica, chiamata adaptive delay, consente al modello di produrre rapidamente il testo quando il segnale è sufficientemente chiaro e di attendere una porzione maggiore dell’audio successivo davanti a un passaggio più ambiguo.
Il compromesso è quello tipico dello speech-to-text in streaming. Più contesto può migliorare il riconoscimento di parole ambigue o costruzioni incomplete, ma aumenta la latenza.
Per apprendere quando conviene continuare ad ascoltare, Muse Voice Transcribe utilizza reinforcement learning. La ricompensa combina il Word Error Rate (WER) – la percentuale di parole inserite, eliminate o riconosciute erroneamente rispetto alla trascrizione di riferimento – con una componente che penalizza il ritardo.
Il modello viene quindi addestrato non solo a stabilire che cosa sia stato pronunciato, ma anche a scegliere quando dispone di contesto sufficiente per produrre la trascrizione. L’adaptive delay permette di lavorare sul punto di equilibrio tra accuratezza e tempo necessario per ottenere il testo definitivo: ridurre ulteriormente il ritardo può aumentare gli errori, mentre attendere più audio può migliorare la precisione a costo di una maggiore latenza.
Diarizzazione ed endpointing entrano nella stessa sequenza
La stessa architettura viene utilizzata per la diarizzazione, cioè l’attribuzione dei diversi segmenti vocali agli interlocutori.
Quando può essersi verificato un cambio di speaker, il modello introduce un token <|start_of_turn|>. Alla fine del relativo blocco produce quindi un’etichetta come <|speaker_A|> o <|speaker_B|> per identificare la voce. Segmenti successivi appartenenti alla stessa persona mantengono la medesima etichetta anche quando vengono suddivisi in più turni interni.
L’endpointing utilizza invece i token <|speech_onset|> e <|speech_endpoint|> per segnalare rispettivamente l’inizio del parlato e il momento in cui l’intervento viene considerato concluso.
La differenza rispetto a un semplice voice activity detection (VAD) è sostanziale. Sapere che il segnale vocale si è interrotto non significa necessariamente sapere che la frase sia finita: una pausa può trovarsi nel mezzo di un ragionamento. Un assistente che interpreta ogni silenzio come fine turno rischia quindi di interrompere l’utente; attendere sistematicamente più a lungo rende invece artificiale il ritmo della conversazione.
ASR, diarizzazione ed endpointing vengono addestrati insieme. Alle ricompense utilizzate per la trascrizione vengono aggiunte componenti specifiche per il riconoscimento degli interlocutori e dei confini degli interventi.
Oltre 70 lingue e code-switching nella stessa frase
Muse Voice Transcribe è stato addestrato su oltre 70 lingue, 25 delle quali sono state sottoposte a una validazione più estesa per la prima versione. Il supporto rimane disponibile anche per altri idiomi presenti nel training.
Il modello gestisce inoltre nativamente il code-switching, cioè il passaggio da una lingua a un’altra durante la stessa conversazione o persino all’interno della stessa frase, senza richiedere una segmentazione preliminare dell’audio per idioma.
È una condizione frequente nel parlato reale, soprattutto quando vengono utilizzati termini tecnici, nomi di prodotti, acronimi o espressioni mantenute nella lingua originale. Il flusso può continuare a essere trattato come un’unica conversazione anche quando cambia la lingua utilizzata.
A questo si aggiungono language, keyword e context biasing, meccanismi che consentono di orientare il riconoscimento attraverso informazioni sulla lingua, parole particolarmente probabili e contesto. Nomi propri, località, prodotti e terminologia specialistica possono così ricevere maggiore peso quando il solo segnale acustico lascia spazio a interpretazioni differenti.
Conversazioni di oltre un’ora con più di 20 interlocutori
Muse Voice Transcribe supporta nativamente input audio di oltre un’ora e conversazioni con più di 20 speaker, senza richiedere una fase separata di post-processing per attribuire gli interventi.
Una delle dimostrazioni pubblicate con il modello utilizza una conversazione di un’ora e 52 secondi con numerosi partecipanti, mostrando la capacità di mantenere l’identità degli interlocutori lungo un flusso prolungato.
L’unificazione di trascrizione e diarizzazione è particolarmente utile in riunioni, interviste, podcast e conversazioni di gruppo, dove una pipeline tradizionale può richiedere prima il riconoscimento del parlato e successivamente un’elaborazione dedicata alla separazione e all’attribuzione delle voci.
Lo speech-to-text si estende alla struttura della conversazione
Muse Voice Transcribe arriva in una fase di rapido sviluppo dei modelli dedicati alla trascrizione. Gemini 3.5 Transcribe ha mostrato pochi giorni prima un’altra direzione: incorporare nel riconoscimento vocale anche la pulizia del parlato spontaneo e la strutturazione del risultato, fino a produrre testo direttamente utilizzabile da applicazioni e workflow.
Muse Voice Transcribe concentra invece una parte rilevante dell’architettura sulle informazioni temporali e conversazionali che accompagnano le parole. Trascrizione, identità degli speaker e confini dei turni vengono trattati dallo stesso modello mentre l’audio continua ad arrivare.
Per un agente vocale queste informazioni hanno un’utilità operativa immediata. Il sistema deve capire che cosa è stato detto, ma anche attribuire correttamente una richiesta e determinare quando può cominciare a elaborarla o rispondere senza sovrapporsi all’utente.
Anche il code-switching e il context biasing rispondono alla stessa esigenza: seguire conversazioni meno regolari di quelle tipicamente rappresentate nei dataset di dettatura, con cambi di lingua, nomi specifici e più partecipanti.
Muse Voice Transcribe guida il benchmark streaming di Artificial Analysis
Nel benchmark AA-WER Streaming di Artificial Analysis, Muse Voice Transcribe occupava il primo posto al momento della presentazione. La misurazione valuta sistemi che ricevono l’audio progressivamente anziché elaborare l’intera registrazione in un solo passaggio, condizione più vicina a quella di sottotitoli live, assistenti vocali e applicazioni conversazionali.
L’AA-WER Streaming considera insieme Word Error Rate e latenza, misurando sia la percentuale di errori nella trascrizione sia il tempo necessario per ottenere il testo definitivo dopo la conclusione del parlato.
Il benchmark utilizza circa otto ore di audio provenienti da AA-AgentTalk, VoxPopuli ed Earnings22, combinando conversazioni vicine agli scenari degli agenti vocali, parlato con accenti differenti e conference call caratterizzate anche da terminologia specialistica.
La misurazione è particolarmente pertinente per sistemi destinati alla conversazione live, dove una maggiore accuratezza ottenuta aspettando diversi secondi dopo la fine dell’intervento avrebbe un’utilità limitata.
La trascrizione entra nelle applicazioni Meta
Muse Voice Transcribe è disponibile attraverso la Meta Model API ed è già utilizzato da Meta AI per Mac e Muse Code.
Nell’applicazione desktop, la dettatura può essere richiamata anche mentre si lavora in altre applicazioni e finestre: tenendo premuto il tasto Fn, l’utente può fornire input vocale mentre continua a utilizzare Meta AI.
Muse Code utilizza lo stesso modello per l’input vocale nelle attività di sviluppo, mentre la Meta Model API consente agli sviluppatori di integrare le capacità di trascrizione streaming nelle proprie applicazioni.
In questi utilizzi il passaggio dall’audio al testo rappresenta solo una parte dell’informazione disponibile. Muse Voice Transcribe produce nello stesso flusso anche i segnali necessari a stabilire chi sta parlando e quando ha terminato, elementi che consentono a un’applicazione o a un agente di seguire la sequenza della conversazione mentre questa si svolge.
