Mistral ha presentato Agentic Search, un sistema di retrieval che consente ai modelli AI di condurre una ricerca in più passaggi all’interno di documenti e raccolte di dati, decidendo autonomamente quali fonti approfondire e quali informazioni cercare successivamente. La tecnologia è disponibile attraverso Mistral Search Toolkit ed è integrata nelle Libraries utilizzabili in Studio e Vibe.
In un sistema RAG (Retrieval-Augmented Generation) tradizionale, una query recupera dall’indice un insieme di chunk – porzioni di testo – considerati rilevanti e il modello formula la risposta utilizzando quel materiale. Agentic Search trasforma questo retrieval singolo in un processo iterativo nel quale il modello può esaminare i primi risultati, stabilire che le informazioni non sono sufficienti, formulare nuove ricerche e approfondire progressivamente le fonti. Può quindi cercare di nuovo, aprire un documento, spostarsi al suo interno, leggere una sezione specifica oppure individuare un termine preciso, adattando ogni passaggio alle informazioni già raccolte.
Cinque strumenti per esplorare i documenti
Il funzionamento di Agentic Search ruota attorno a cinque primitive: search, open, navigate, read e grep. search individua documenti e contenuti rilevanti attraverso l’indice esistente, open apre una fonte specifica, navigate permette di raggiungere una pagina, una sezione o una determinata regione del documento, read recupera il contenuto presente in quella posizione e grep cerca una parola o un pattern all’interno del documento aperto.
Le cinque operazioni vengono combinate in un retrieval loop. L’agente esegue una ricerca iniziale, esamina i risultati, approfondisce quelli più promettenti e utilizza ciò che ha trovato per formulare, quando serve, una nuova query. Il sistema può inoltre escludere dai retrieval successivi i chunk già esaminati, evitando di tornare continuamente sugli stessi risultati. L’indice conserva così il compito di individuare le fonti probabilmente rilevanti, mentre il modello decide quali esplorare e fino a quale livello di dettaglio, raccogliendo progressivamente le evidenze necessarie alla risposta.
Quando il RAG one-shot non basta
Con documenti lunghi e strutturati, un singolo retrieval può non recuperare l’informazione necessaria. Un contratto, un filing finanziario, un manuale tecnico o un PDF di centinaia di pagine può contenere il dato richiesto in una tabella, una nota a piè di pagina o una clausola che il primo retrieval non colloca tra i chunk con il ranking più elevato; la difficoltà aumenta ulteriormente quando la risposta richiede di combinare elementi presenti in più documenti.
Un modello vincolato ai risultati del primo retrieval non può stabilire che manca un dato, cercarlo altrove e verificare successivamente se le informazioni ottenute sono coerenti. Mistral mostra come esempio una domanda sulla somma delle spese mensili statunitensi per la difesa nel 1953: la prima ricerca restituisce bollettini che coprono soltanto una parte dell’anno, mentre Agentic Search utilizza quanto già trovato per eseguire una seconda ricerca, individuare un Treasury Bulletin del 1954 contenente tutti i dodici mesi, aprire la tabella pertinente e ricavare i valori necessari. Il retrieval iniziale diventa quindi il primo passaggio di un’indagine documentale che può cambiare direzione in funzione delle informazioni incontrate.
Il retrieval dipende anche dalle capacità del modello
Secondo Mistral, le primitive di Agentic Search non richiedono fine-tuning né training specifico per il modello utilizzato e il sistema è model-agnostic: il Search Toolkit può essere impiegato sia con modelli Mistral sia con modelli di terze parti. In questa architettura, la qualità del retrieval dipende quindi anche dalla capacità del modello di ragionare sull’informazione trovata e di utilizzare correttamente gli strumenti di navigazione.
Un modello più capace può formulare una nuova query, scegliere una fonte migliore o stabilire quale sezione debba essere verificata senza richiedere necessariamente una modifica dell’infrastruttura di indicizzazione. L’indice resta comunque determinante e Mistral indica il retrieval indicizzato tradizionale come soluzione appropriata per lookup diretti, ricerche keyword o semantiche ad alto volume e domande semplici nelle quali la risposta ha buone probabilità di comparire nei primi risultati; Agentic Search interviene quando il modello deve continuare a investigare il corpus.
I risultati su FinanceBench
Mistral ha valutato il sistema con Mistral Medium 3.5 e GLM-5.2 di Z.ai, utilizzando la configurazione standard del Search Toolkit e senza tuning specifico dei benchmark. Su FinanceBench, composto da 150 domande relative a 368 filing SEC – documenti 10-K, 10-Q e 8-K per un totale di circa 53.900 pagine – il semplice passaggio dal RAG one-shot a un loop nel quale il modello può ripetere autonomamente le ricerche produce, secondo i test di Mistral, un incremento dell’accuratezza di 47,3 punti percentuali con Mistral Medium 3.5 e di 52,6 punti con GLM-5.2.
L’aggiunta degli strumenti di navigazione open, navigate, read e grep incrementa ulteriormente l’accuratezza di 8,7 punti con Mistral Medium 3.5 e di 6,7 punti con GLM-5.2. Complessivamente, Mistral indica un passaggio dal 26,7% all’86% di risposte corrette nel caso mostrato su FinanceBench.
La navigazione mirata riduce anche il lavoro necessario al modello: rispetto al loop basato esclusivamente sulla ricerca, il consumo di token scende del 23,9% con Mistral Medium 3.5 e del 33,7% con GLM-5.2, mentre sullo stesso benchmark la latenza p90 passa da 255 a 154 secondi e quella media da 108 a 71 secondi.
La prova sui PDF scansionati di OfficeQA Pro
Un secondo test utilizza OfficeQA Pro, benchmark composto da 696 Treasury Bulletin storici statunitensi, per circa 89.000 pagine complessive, con PDF scansionati e numerose tabelle. Mistral utilizza il sottoinsieme “pro” di 133 domande con risposte numeriche verificabili.
Con GLM-5.2, il sistema completo raggiunge il 51,9% di accuratezza, con un miglioramento di 45,6 punti percentuali rispetto al RAG one-shot; per Mistral Medium 3.5 l’incremento è di 27,1 punti. L’aggiunta della navigazione al loop agentico aumenta ulteriormente l’accuratezza fino a 7,5 punti con Mistral Medium 3.5 e 8,3 punti con GLM-5.2, riducendo contemporaneamente il consumo di token e il numero di turni.
I risultati provengono dai benchmark pubblicati da Mistral e non da una valutazione indipendente. I dati permettono però di distinguere l’effetto delle diverse componenti: il guadagno maggiore deriva dalla possibilità per il modello di reiterare autonomamente la ricerca, mentre gli strumenti di navigazione aggiungono ulteriore accuratezza e riducono ricerche e letture inutili.
Search Toolkit, Libraries e deployment on-premises
Agentic Search è disponibile attraverso Mistral Search Toolkit, che comprende i componenti per ingestion, embedding, indicizzazione e retrieval. Le pipeline possono essere configurate scegliendo parser, strategie di chunking, modelli di embedding ed estrattori, mentre indicizzazione e ranking possono essere personalizzati attraverso gli schemi e i relevance profile di Vespa; alla stessa pipeline possono essere aggiunti query rewriting, reranking e retrieval ibrido.
Gli strumenti di ricerca possono essere esposti agli agenti attraverso MCP, il Model Context Protocol. L’indice può essere eseguito in self-hosting con Vespa e Docker oppure affidato a un backend gestito, mantenendo i dati sensibili in ambienti cloud isolati o on-premises.
Agentic Search è integrato anche nelle Libraries di Mistral Studio e Vibe per chi vuole utilizzare la tecnologia senza costruire direttamente la pipeline di retrieval. Mistral mette inoltre a disposizione una Search Starter App che crea localmente un indice con una configurazione predefinita per sperimentare il sistema sul proprio corpus.
Con Agentic Search, il retrieval entra nel ciclo operativo dell’agente: indicizzazione, embedding e ranking continuano a selezionare il materiale rilevante, mentre il modello può esplorarlo in più passaggi, cercare nuove fonti, seguire riferimenti, recuperare ulteriore contesto e verificare i dati prima di produrre la risposta.
