Nei test di diagnosi clinica condotti da Microsoft, il sistema di intelligenza artificiale MAI-DxO (Microsoft AI Diagnostic Orchestrator) ha raggiunto un’accuratezza dell’83% nei casi più complessi, rispetto al 36% ottenuto dai medici con accesso a risorse di consultazione, e dell’80% nei casi di pronto soccorso, contro il 47% dei medici. Il sistema utilizza un’architettura di orchestrazione di agenti AI per formulare e verificare ipotesi diagnostiche, selezionando progressivamente le domande da rivolgere al paziente e gli esami da richiedere, con una valutazione che considera anche il costo degli accertamenti.
I risultati, pubblicati su Science e illustrati da Microsoft AI, riguardano due insiemi di casi clinici, uno costituito da diagnosi particolarmente complesse e l’altro derivato da cartelle ospedaliere di pazienti del pronto soccorso. Oltre all’accuratezza, la ricerca prende in esame i costi degli accertamenti richiesti per arrivare alla diagnosi, un parametro che permette di valutare l’efficienza del processo decisionale.
Il progetto rientra nel programma di ricerca di Microsoft sull’AI medica, orientato allo sviluppo di sistemi AI capaci di raggiungere prestazioni superiori a quelle dei migliori gruppi clinici in un insieme sempre più ampio di attività mediche. I risultati attuali riguardano però la diagnosi in ambienti sperimentali, mentre la valutazione su pazienti reali è oggetto di una nuova fase di ricerca.
MAI-DxO, il ragionamento diagnostico attraverso più agenti AI
La caratteristica tecnologica di MAI-DxO è l’impiego di un’architettura di orchestrazione che coordina più agenti AI, organizzati per simulare il confronto fra medici con differenti ipotesi diagnostiche.
Ogni agente contribuisce all’analisi del caso, propone possibili diagnosi, individua domande da rivolgere al paziente o esami da richiedere e valuta criticamente le conclusioni degli altri. Il sistema coordina diversi cicli di confronto e aggiorna progressivamente le ipotesi sulla base delle informazioni disponibili.
L’elaborazione segue quindi una logica sequenziale, analoga a quella utilizzata nella pratica clinica: il quadro diagnostico iniziale è incompleto e ogni nuova informazione può confermare, modificare oppure escludere le ipotesi formulate.
Un elemento importante è la valutazione del rapporto fra il valore informativo di un esame e il suo costo. MAI-DxO deve decidere quali approfondimenti siano necessari per risolvere il caso, evitando richieste che aumenterebbero la spesa senza contribuire significativamente alla diagnosi.
L’architettura separa inoltre il processo di orchestrazione dal modello linguistico sottostante. Nei test ripetuti con modelli più recenti, tra cui GPT-5.5, i risultati sono migliorati senza modificare il metodo di coordinamento degli agenti. Questo indica che l’approccio può beneficiare dell’evoluzione dei modelli mantenendo sostanzialmente invariata la struttura del sistema.
SDBench valuta il percorso diagnostico, non soltanto la risposta
Per verificare le prestazioni di MAI-DxO, Microsoft ha sviluppato Sequential Diagnosis Benchmark (SDBench), un ambiente di valutazione progettato per riprodurre le decisioni successive che caratterizzano una diagnosi.
Molti benchmark medici utilizzati per confrontare i modelli linguistici si basano su esami di abilitazione professionale, come lo United States Medical Licensing Examination (USMLE). In queste prove, il candidato riceve un insieme di informazioni e deve selezionare una risposta.
Nella pratica medica, invece, il professionista deve innanzitutto stabilire quali informazioni raccogliere, quali accertamenti prescrivere e quando dispone di elementi sufficienti per formulare una conclusione. È questo processo che SDBench intende misurare.
L’ambiente sperimentale comprende tre componenti. Il Diagnostic Agent rappresenta il sistema sottoposto a valutazione, che formula richieste e ipotesi diagnostiche. Il Gatekeeper gestisce le informazioni del caso e restituisce i risultati degli accertamenti richiesti. Il Judge confronta la diagnosi finale con quella di riferimento, attribuendo un punteggio che determina la correttezza della risposta.
Quando un’informazione richiesta non è presente nella documentazione clinica originale, il Gatekeeper può generare un risultato sintetico plausibile. Questa caratteristica consente di proseguire la simulazione, ma costituisce anche un limite metodologico da considerare nell’interpretazione dei risultati.
Il benchmark misura contemporaneamente accuratezza diagnostica, informazioni richieste e costo stimato degli esami, permettendo di confrontare sistemi che raggiungono la stessa conclusione attraverso percorsi clinici differenti.
Accuratezza dell’83% sui casi complessi e dell’80% in pronto soccorso
La prima parte della sperimentazione utilizza 304 casi clinici complessi pubblicati nei Case Records del New England Journal of Medicine – una delle più autorevoli riviste internazionali di medicina –, una raccolta di situazioni diagnostiche particolarmente impegnative.
Su questo insieme, MAI-DxO raggiunge l’83% di accuratezza, mentre i medici ottengono il 22% senza consultare risorse esterne e il 36% quando possono utilizzare testi medici e Internet. Il risultato del sistema AI corrisponde rispettivamente a circa 3,7 e 2,3 volte l’accuratezza osservata nei due gruppi di confronto.
La seconda valutazione utilizza casi derivati da MIMIC-IV-ED, una raccolta di dati clinici anonimizzati relativi ad accessi a un pronto soccorso statunitense. Si tratta di situazioni più rappresentative della casistica ospedaliera ordinaria rispetto alle diagnosi selezionate dal New England Journal of Medicine.
In questa prova, MAI-DxO raggiunge l’80% di accuratezza, contro il 47% dei medici, con un rapporto di circa 1,7 a favore del sistema AI.
Le percentuali descrivono le prestazioni nelle condizioni definite dal benchmark e dai protocolli sperimentali. Non rappresentano una misurazione generale dell’accuratezza dei medici nella pratica quotidiana, né dimostrano che il sistema possa ottenere gli stessi risultati operando autonomamente in ospedale.
Il rapporto fra accuratezza diagnostica e costi degli esami
La ricerca affronta anche un problema economico rilevante per i sistemi sanitari: ottenere una diagnosi affidabile limitando gli accertamenti superflui.
In una configurazione ottimizzata maggiormente per il contenimento della spesa, MAI-DxO ha raggiunto l’81% di accuratezza nei casi complessi, con un costo stimato inferiore alla metà di quello dei sistemi utilizzati per il confronto.
Microsoft riferisce che, considerando entrambi gli insiemi di dati, nessuno degli approcci umani o AI esaminati ha ottenuto contemporaneamente un’accuratezza superiore e costi inferiori rispetto a MAI-DxO.
La valutazione economica si riferisce ai costi stimati degli accertamenti nel benchmark. Non equivale quindi a una riduzione già verificata della spesa sanitaria complessiva, sulla quale incidono anche tempi di ricovero, personale, trattamenti, organizzazione delle strutture e conseguenze delle decisioni cliniche.
Il risultato suggerisce comunque una possibile applicazione dell’AI all’ottimizzazione dei percorsi diagnostici, soprattutto nei casi in cui la scelta e la sequenza degli esami incidono sensibilmente sui costi e sui tempi necessari per individuare una patologia.
Il benchmark SDBench diventa open source
Per consentire la riproduzione e l’estensione degli esperimenti, Microsoft ha pubblicato il codice di SDBench su GitHub, comprendente gli strumenti di orchestrazione delle valutazioni, il Gatekeeper, il Judge e i meccanismi per stimare i costi degli accertamenti.
Il framework permette ai ricercatori di utilizzare differenti modelli linguistici e agenti diagnostici, modificare le configurazioni sperimentali e confrontare i risultati con quelli dei sistemi esistenti.
La disponibilità del codice non coincide tuttavia con la distribuzione libera di tutti i dati clinici. I casi del New England Journal of Medicine richiedono una licenza, mentre quelli derivati da MIMIC sono accessibili attraverso PhysioNet, previa verifica delle credenziali e accettazione delle condizioni di utilizzo.
Il repository comprende anche cinque casi interamente sintetici, utilizzabili per verificare il funzionamento dell’ambiente di valutazione senza accedere a dati clinici protetti. Questi esempi non sono destinati a misurare le prestazioni diagnostiche dei modelli.
La pubblicazione degli strumenti sperimentali consentirà a gruppi di ricerca esterni di verificare i risultati e valutare altre architetture AI attraverso metodologie comparabili.
Dalla ricerca alla sperimentazione clinica con Beth Israel e Mayo Clinic
La fase successiva del progetto riguarda la valutazione di MAI-DxO in ambienti sanitari reali.
Microsoft ha avviato una collaborazione con il Beth Israel Deaconess Medical Center di Boston per studiare le capacità di ragionamento diagnostico del sistema in differenti contesti ospedalieri.
La sperimentazione prospettica prevede che i pazienti interagiscano direttamente con l’AI e che i risultati vengano confrontati con le valutazioni indipendenti dei medici. Questo approccio permetterà di osservare il comportamento del sistema durante la raccolta delle informazioni cliniche, individuando eventuali differenze rispetto alle prestazioni ottenute su casi retrospettivi.
La ricerca si affianca alla collaborazione con Mayo Clinic, avviata per sviluppare un modello AI specializzato in ambito sanitario che integri le competenze cliniche dell’istituzione statunitense, dati sanitari anonimizzati e informazioni longitudinali con le tecnologie di Microsoft. Il modello sarà inizialmente implementato nell’ambiente clinico di Mayo Clinic e, dopo la validazione, Microsoft prevede di renderlo accessibile ad altre organizzazioni attraverso Azure Foundry.
L’impiego di informazioni longitudinali è particolarmente rilevante perché consente di esaminare l’evoluzione delle condizioni di salute del paziente nel tempo, anziché limitare la valutazione a un singolo episodio diagnostico. L’integrazione di differenti modalità di dati, inoltre, può estendere il ragionamento clinico oltre le informazioni testuali utilizzate negli attuali benchmark.
Queste attività costituiscono il passaggio necessario per verificare se i vantaggi osservati nella simulazione possano tradursi in miglioramenti misurabili dell’assistenza sanitaria.
La medical superintelligence secondo Microsoft
La strategia tecnologica è descritta anche nell’articolo scientifico The Building Blocks of Medical Superintelligence, pubblicato su BMJ Digital Health and AI.
Microsoft utilizza il concetto di medical superintelligence per indicare sistemi capaci, in prospettiva, di superare le prestazioni dei migliori gruppi clinici nelle diverse componenti dell’assistenza, dalla formulazione della diagnosi alla scelta dei trattamenti, fino al monitoraggio dell’evoluzione delle condizioni di salute.
La diagnosi sequenziale costituisce il primo ambito di sperimentazione di questa impostazione. Per estenderla all’intero percorso sanitario serviranno capacità ulteriori, tra cui l’aggiornamento continuo delle conoscenze mediche, l’interpretazione dei dati longitudinali, la valutazione delle opzioni terapeutiche e l’adattamento delle decisioni alle caratteristiche e alle preferenze del paziente.
Il programma coinvolge anche una riorganizzazione delle attività sanitarie di Microsoft, che intende riunire sotto Microsoft AI gruppi di ricerca e sviluppo precedentemente distribuiti fra diverse divisioni, compresi i team di Microsoft Research, Dragon Copilot e PowerScribe.
L’integrazione mette in relazione la ricerca sui modelli di ragionamento con tecnologie già destinate ai professionisti sanitari, come gli strumenti di documentazione clinica e refertazione assistiti dall’AI.
Le differenze fra simulazione e pratica medica
Il confronto fra MAI-DxO e i medici deve essere interpretato alla luce delle caratteristiche del benchmark.
I casi utilizzati sono retrospettivi e la diagnosi corretta è già nota. L’interazione avviene attraverso un ambiente testuale controllato, nel quale le informazioni sono rese disponibili progressivamente dal Gatekeeper.
Nella pratica clinica, invece, la raccolta dei dati può essere influenzata da sintomi riferiti in modo incompleto, condizioni concomitanti, qualità degli esami, incertezza dei risultati e necessità di coordinamento fra differenti specialisti.
I casi complessi del New England Journal of Medicine, inoltre, sono selezionati per il loro interesse diagnostico e non rappresentano la distribuzione ordinaria delle patologie nella popolazione. Il confronto con i medici non dimostra quindi una superiorità generalizzata dell’AI rispetto agli specialisti o alle équipe multidisciplinari.
Il benchmark misura prevalentemente la capacità di individuare una diagnosi corretta e i costi associati alla raccolta delle informazioni. Restano da verificare aspetti clinicamente determinanti, come la sicurezza delle decisioni, l’appropriatezza dei trattamenti, la gestione dei falsi positivi e dei falsi negativi e gli esiti effettivi sui pazienti.
