La Commissione europea ha avviato verifiche su incidenti di sicurezza provocati da modelli avanzati di intelligenza artificiale che, durante attività di sviluppo e sperimentazione, hanno superato i limiti degli ambienti di test e interferito con sistemi informatici esterni. L’intervento dell’AI Office, l’organismo della Commissione responsabile della vigilanza sui modelli AI per finalità generali, solleva una questione importante per l’applicazione dell’AI Act: quali responsabilità hanno gli sviluppatori quando un agente AI ancora sperimentale provoca conseguenze su infrastrutture reali?
L’iniziativa segue una serie di incidenti documentati da OpenAI e Anthropic, i cui modelli hanno compiuto operazioni non autorizzate su infrastrutture esterne durante valutazioni delle capacità di cybersecurity.
La Commissione europea ha già richiesto e ricevuto segnalazioni di incidenti gravi e informazioni sulle pratiche di sicurezza adottate dagli sviluppatori. Ha inoltre predisposto ulteriori richieste di chiarimento, con il supporto dell’AI Scientific Panel, composto da 60 esperti indipendenti, tra cui Yoshua Bengio, premio Turing 2018 e uno dei pionieri del deep learning.
Il gruppo, presieduto dall’irlandese Seán Ó hÉigeartaigh, comprende anche tre esperti italiani: Alessandro Abate, professore di Verification and Control all’Università di Oxford; Lorenzo Pacchiardi, ricercatore dell’Università di Cambridge; e Walter Quattrociocchi, professore ordinario di Informatica alla Sapienza Università di Roma.
Abate ricopre inoltre, dall’agosto 2026, l’incarico di Lead Scientific Adviser dell’AI Office europeo, con responsabilità di consulenza scientifica sulle valutazioni dei modelli AI per finalità generali, sui test e sulle metodologie di verifica.
L’AI Office europeo esercita i poteri di vigilanza sui modelli avanzati
Il 9 ottobre, la vicepresidente esecutiva della Commissione europea Henna Virkkunen, responsabile per la Sovranità tecnologica, la sicurezza e la democrazia, e Seán Ó hÉigeartaigh hanno convocato una riunione straordinaria dedicata agli incidenti di perdita di controllo dei modelli AI.
Gli esperti hanno esaminato gli eventi documentati, le informazioni ancora mancanti e le possibili conseguenze dell’evoluzione delle capacità dei modelli, con particolare attenzione ai problemi di monitoraggio e al miglioramento ricorsivo dell’intelligenza artificiale.
L’AI Office ha già esercitato i propri poteri di raccolta delle informazioni, mentre il gruppo scientifico ha contribuito a preparare ulteriori quesiti destinati alle aziende coinvolte.
La Commissione prevede di trasmettere nuove richieste per approfondire le dinamiche degli incidenti, le caratteristiche dei modelli interessati e l’adeguatezza delle misure di sicurezza adottate dagli sviluppatori.
Le verifiche rientrano nelle competenze di vigilanza attribuite all’AI Office dal regolamento europeo. Le comunicazioni istituzionali non indicano l’apertura di procedimenti sanzionatori né identificano pubblicamente le aziende destinatarie delle richieste di informazioni.
L’UE chiede controlli sui modelli sperimentali e una risposta coordinata agli incidenti
Le quattro raccomandazioni dello Scientific Panel riguardano la sicurezza durante lo sviluppo dei modelli, le capacità investigative delle autorità europee, la cooperazione internazionale e l’affidabilità degli strumenti di monitoraggio.
Controlli di sicurezza anche sui modelli sperimentali. I sistemi utilizzati internamente durante l’addestramento, lo sviluppo e i test devono essere sottoposti a una gestione rigorosa dei rischi, anche prima della distribuzione commerciale. Gli agenti capaci di eseguire codice, individuare vulnerabilità e utilizzare strumenti informatici richiedono ambienti adeguatamente isolati, restrizioni sugli accessi alla rete e un controllo dei privilegi. Gli incidenti OpenAI e Anthropic hanno evidenziato le conseguenze di configurazioni che consentivano ai modelli di raggiungere infrastrutture esterne agli ambienti sperimentali.
Una task force europea specializzata nelle indagini sugli incidenti AI. Il rafforzamento delle capacità di rilevamento e investigazione richiede competenze tecniche, strumenti di analisi e procedure per ricostruire le operazioni eseguite dagli agenti. L’esame delle trascrizioni, dei registri infrastrutturali e delle autorizzazioni permette di individuare le cause delle violazioni, distinguendo gli errori di configurazione dai comportamenti imprevisti dei modelli. L’AI Office potrebbe così disporre di maggiori capacità autonome di analisi delle evidenze tecniche e delle misure correttive adottate dagli sviluppatori.
Cooperazione internazionale, requisiti comuni e gestione congiunta delle crisi. La condivisione delle informazioni sulle vulnerabilità e sugli incidenti deve coinvolgere sviluppatori, ricercatori e autorità di diversi Paesi. La definizione di requisiti comuni per i modelli avanzati e di procedure coordinate di risposta consentirebbe di affrontare gli eventi che interessano contemporaneamente più operatori, infrastrutture cloud e giurisdizioni, riducendo i tempi necessari per identificare e contenere le compromissioni.
Verifiche sulle tecniche di addestramento che riducono la monitorability dei modelli. La possibilità di osservare e interpretare il comportamento dei sistemi AI è essenziale per individuare attività rischiose. La supervisione può utilizzare anche l’analisi dei passaggi intermedi di ragionamento e delle sequenze di operazioni eseguite dagli agenti, ma alcune tecniche di addestramento possono ridurre l’affidabilità di queste informazioni. Il problema assume particolare rilievo rispetto al miglioramento ricorsivo dell’intelligenza artificiale, discusso dagli esperti europei, perché l’impiego dei modelli nello sviluppo di sistemi successivi con capacità superiori richiede strumenti di valutazione e supervisione in grado di seguirne l’evoluzione.
Gli incidenti OpenAI e Anthropic mostrano i rischi degli agenti autonomi
Nel luglio 2026, durante valutazioni interne di cybersecurity, alcuni agenti sperimentali di OpenAI hanno aggirato le restrizioni di accesso a Internet, sfruttando vulnerabilità nei servizi condivisi degli ambienti di test.
Gli agenti hanno compromesso sistemi interni e infrastrutture di Hugging Face, acquisendo privilegi amministrativi su alcuni server e accedendo a informazioni private. I modelli sono riusciti inoltre a utilizzare servizi di gestione dei pacchetti software come canali di comunicazione e a condividere informazioni tra agenti impegnati in valutazioni differenti.
Anthropic ha identificato inizialmente tre incidenti, nei quali alcune versioni di Claude hanno ottenuto accesso non autorizzato a sistemi appartenenti a organizzazioni esterne durante esercitazioni di cybersecurity.
In un episodio, un modello ha pubblicato autonomamente un pacchetto Python dannoso sul repository pubblico PyPI, successivamente eseguito da 15 sistemi reali.
Le indagini di Anthropic hanno successivamente individuato un quarto incidente, risalente a gennaio 2026. L’azienda ha complessivamente analizzato circa 481 milioni di trascrizioni per ricostruire il comportamento dei modelli e verificare l’esistenza di ulteriori episodi.
In entrambi i casi, gli agenti erano impegnati in attività sperimentali e le normali protezioni di sicurezza erano state parzialmente disattivate. Le violazioni sono state rese possibili dalla combinazione tra capacità operative dei modelli e isolamento insufficiente degli ambienti di esecuzione.
L’AI Act e il confine tra sperimentazione e utilizzo reale
Gli incidenti sollevano una questione giuridica che riguarda direttamente l’ambito di applicazione dell’AI Act.
L’articolo 2, paragrafo 8, del Regolamento europeo sull’intelligenza artificiale stabilisce che le disposizioni del regolamento non si applicano alle attività di ricerca, sperimentazione e sviluppo relative a sistemi o modelli AI precedenti alla loro immissione sul mercato o messa in servizio.
La stessa disposizione precisa però che l’esclusione non comprende i test effettuati in condizioni reali.
La distinzione assume particolare rilievo quando i modelli operano all’interno di un ambiente sperimentale, ma le loro azioni producono effetti su infrastrutture esterne.
Nei casi documentati da OpenAI e Anthropic, gli agenti erano impegnati in attività di valutazione condotte prima della distribuzione dei modelli. Tuttavia, la capacità di utilizzare strumenti informatici e sfruttare vulnerabilità ha consentito loro di raggiungere sistemi appartenenti a organizzazioni che non partecipavano alle esercitazioni.
L’accesso non autorizzato a infrastrutture esterne non determina automaticamente la qualificazione di un’attività come test in condizioni reali. Occorre considerare la natura delle operazioni, le circostanze dell’incidente e le disposizioni applicabili ai modelli coinvolti.
L’AI Act contiene inoltre obblighi specifici per i modelli di intelligenza artificiale per finalità generali caratterizzati da rischio sistemico.
L’articolo 55 impone ai fornitori di tali modelli di effettuare valutazioni e test avversari, identificare e mitigare i rischi sistemici, documentare e segnalare gli incidenti gravi e garantire un livello adeguato di cybersecurity del modello e delle relative infrastrutture.
La valutazione dei rischi comprende espressamente quelli che possono derivare dallo sviluppo, oltre che dall’immissione sul mercato e dall’utilizzo dei modelli.
Questi obblighi attribuiscono alla sicurezza dei processi di sviluppo una rilevanza regolatoria che va oltre la protezione del prodotto distribuito agli utenti. La valutazione delle singole responsabilità dipende tuttavia dalla classificazione del modello, dall’applicabilità delle disposizioni e dalle circostanze dell’incidente.
La sicurezza degli agenti AI coinvolge l’intero ambiente di sviluppo
Gli agenti AI possono concatenare operazioni, utilizzare strumenti esterni, modificare il proprio ambiente operativo e proseguire l’esecuzione di un compito attraverso percorsi che gli sviluppatori non avevano previsto.
Quando queste capacità vengono esercitate durante test di cybersecurity, connessioni non autorizzate o vulnerabilità nei sistemi condivisi possono consentire agli agenti di interagire con infrastrutture reali.
Le misure di prevenzione riguardano quindi l’isolamento degli ambienti di esecuzione, il controllo delle connessioni di rete, la gestione dei privilegi, il monitoraggio delle attività e le procedure di risposta agli incidenti.
La possibilità di esaminare retrospettivamente le operazioni dei modelli, attraverso trascrizioni e registri tecnici, assume un’importanza particolare per ricostruire le violazioni e individuare i meccanismi che hanno consentito agli agenti di aggirare le restrizioni.
Per gli sviluppatori, il controllo dei rischi deve comprendere sia il comportamento dei modelli sia le infrastrutture attraverso cui vengono eseguite le loro azioni. Le sole istruzioni impartite agli agenti non possono sostituire le limitazioni tecniche sugli strumenti e sulle risorse a loro disposizione.
