Con Google AI Edge Foresight, i modelli locali di Google trovano una nuova applicazione nelle riunioni di lavoro: l’app sperimentale per Mac usa Gemma 4 ed EmbeddingGemma 2 per completare gli appunti con i dettagli della conversazione e recuperare dai documenti personali le informazioni utili a rispondere alle domande. Audio, trascrizioni e file vengono elaborati sul computer, dove le funzioni di assistenza restano disponibili anche senza connessione.
Presentata il 6 ottobre insieme a EmbeddingGemma 2, Foresight acquisisce l’audio delle videochiamate dal sistema e quello delle riunioni in presenza dal microfono del Mac. Il contesto a disposizione dell’assistente comprende sia ciò che viene detto sia i materiali di lavoro già presenti nei file personali, senza dipendere da un abbonamento a un servizio cloud per l’elaborazione AI.
Dalla trascrizione all’assistenza basata sui propri documenti
Applicazioni come MacWhisper, Superwhisper e Buzz permettono di trascrivere localmente file audio e video già registrati. MacWhisper e Superwhisper offrono anche strumenti per acquisire l’audio delle riunioni e distinguere gli interlocutori; MacWhisper può inoltre collegarsi a modelli locali tramite Ollama o LM Studio per elaborare le trascrizioni. Rispetto a questi strumenti, la funzione distintiva di Foresight riguarda soprattutto le informazioni che l’assistente può usare e il momento in cui le rende disponibili: il contenuto della conversazione viene collegato a una base di conoscenza personale, costituita da documenti, diagrammi, note e altri materiali di lavoro, dalla quale l’app recupera le informazioni pertinenti mentre la riunione è in corso.
L’assistenza può quindi attingere anche a contenuti esterni alla conversazione: attraverso la chat l’utente interroga il proprio archivio, mentre Live Assistance riconosce domande e argomenti e propone schede di contesto con citazioni puntuali. A questa ricerca si affianca il completamento degli appunti manuali con i dettagli della trascrizione. Ricerca nei materiali personali, risposte contestuali dal vivo e arricchimento delle note costituiscono il nucleo di Foresight, con l’intero percorso di elaborazione AI eseguito sul Mac.
Dagli appunti essenziali alle note complete
Durante l’incontro, Foresight ascolta in background e trascrive la conversazione. L’utente può limitarsi a scrivere appunti sintetici, anche sotto forma di brevi punti, scegliendo quali passaggi vuole conservare; l’app li arricchisce immediatamente con i dettagli ricavati dalla trascrizione, trasformandoli in note più complete e curate.
Gli appunti manuali restano il punto di partenza: permettono di indicare ciò che conta per chi partecipa, mentre il contenuto della riunione fornisce le informazioni necessarie a svilupparlo. Il risultato è utile quando si vuole seguire la discussione senza dover trascrivere ogni dettaglio, mantenendo comunque una traccia articolata dei punti selezionati.
Lo stesso meccanismo funziona nelle videochiamate e negli incontri faccia a faccia. Sul desktop, l’app può affiancare strumenti come Google Meet e Zoom, elaborando in tempo reale l’audio locale; la trascrizione e il trattamento dell’audio avvengono sul Mac.
I documenti di lavoro diventano una base consultabile
Il contesto di Foresight si costruisce indicando le cartelle dei progetti, i materiali di riferimento, i diagrammi e il calendario. L’app comprende e indicizza questi contenuti senza richiedere una riorganizzazione manuale dei file, con collegamenti alle cartelle locali e a Google Drive. Oltre ai documenti, può utilizzare collegamenti web e dettagli del calendario per recuperare informazioni pertinenti al lavoro in corso.
I formati supportati comprendono PDF, Google Docs, file Microsoft Office, testo semplice, Markdown e segnalibri web. Le fonti possono essere contrassegnate con etichette personalizzate e filtrate per categoria; la ricerca semantica permette di interrogare il contenuto in linguaggio naturale, individuando le informazioni in base al loro significato. Google indica la possibilità di cercare tra migliaia di pagine in millisecondi, senza indicizzazione nel cloud.
Questa base di conoscenza serve sia a ritrovare un’informazione sia a ottenere sintesi attraverso una conversazione con l’app. La ricerca può mettere in relazione materiali diversi, come immagini, documenti, trascrizioni e note, così che una domanda testuale diventi il punto di accesso ai contenuti personali rilevanti.
Risposte durante la conversazione
Una volta acquisiti i materiali di lavoro, Foresight li usa per assistere l’utente nelle risposte. La modalità chat consente di formulare una richiesta esplicita, mentre Live Assistance ascolta la riunione e può riconoscere le domande, proponendo automaticamente informazioni pertinenti.
Quando nella conversazione emergono domande o argomenti presenti nei file importati, l’app visualizza schede di contesto con riferimenti puntuali alle fonti. Il collegamento ai materiali originali consente di risalire al documento da cui proviene l’informazione, mentre l’assistenza in tempo reale riduce la necessità di interrompere la discussione per passare da una cartella o da un’applicazione all’altra.
Come lavorano EmbeddingGemma 2 e Gemma 4
Alla base della ricerca c’è EmbeddingGemma 2, un modello multimodale da 740 milioni di parametri, capace di rappresentare testo, immagini, video e audio in un unico spazio vettoriale. Gli embedding sono rappresentazioni numeriche del contenuto: collocando materiali diversi nello stesso spazio, il modello permette di trovare corrispondenze di significato anche tra modalità differenti, senza passaggi intermedi di traduzione tra i contenuti.
In Foresight, EmbeddingGemma 2 lavora insieme a Gemma 4 per eseguire retrieval-augmented generation (RAG) interamente sul Mac, dal recupero dei contenuti alla generazione delle risposte. L’elaborazione locale elimina la latenza di rete da questo percorso e permette di cercare e utilizzare i propri materiali in tempo reale.
Elaborazione locale e disponibilità su Mac
Google dichiara che tutta l’inferenza AI viene eseguita sul dispositivo e che fonti personali, audio delle riunioni e appunti restano sul computer. File, registrazioni e trascrizioni non vengono trasmessi a server cloud esterni per l’elaborazione: una caratteristica particolarmente rilevante per documenti riservati e discussioni su informazioni proprietarie.
Anche il motore degli embedding opera sull’hardware locale. Le funzioni di assistenza e interrogazione restano quindi disponibili in viaggio, in aereo o in ambienti con sistemi isolati dalla rete, utilizzando i materiali già presenti sul computer.
Foresight è disponibile come app sperimentale per macOS, ed è ottimizzata per Apple Silicon. La quantizzazione dei modelli Gemma, che ne riduce il peso attraverso rappresentazioni numeriche più compatte, e i componenti di calcolo vettoriale efficienti in memoria sono impiegati per contenere l’occupazione di risorse e il consumo della batteria.
