La crescita delle capacità dei modelli di intelligenza artificiale deve rallentare abbastanza da permettere alla ricerca sulla sicurezza di tenere il passo. È la tesi centrale di We Must Pace the Frontier, il nuovo intervento firmato da Dario Amodei, cofondatore e CEO di Anthropic.
L’AI potrebbe contribuire a curare gran parte delle principali malattie, accelerare fortemente la crescita economica, creare maggiore abbondanza e rafforzare democrazia e libertà. Allo stesso tempo porta con sé rischi che vanno dalla perdita di controllo dei sistemi all’uso dell’AI per cyberattacchi e bioterrorismo, fino a una grave disruption economica.
Gli incentivi commerciali possono trasformare questi rischi in una race to the bottom. Anthropic ha cercato finora di dimostrare che è possibile costruire AI in modo prudente e allo stesso tempo avere successo sul mercato, facendo della sicurezza un terreno di competizione tra aziende e creando quindi una race to the top. È una linea mantenuta anche quando il sostegno alla regolazione dell’AI ha esposto la società ad accuse di hype, doomerism e regulatory capture, privilegiando “la cautela rispetto alla velocità e la prudenza rispetto al profitto”.
Negli ultimi mesi questo equilibrio non è più sufficiente. Non basta investire sulla prevenzione dei rischi mentre le capacità continuano ad avanzare alla massima velocità: bisogna intervenire anche sul ritmo, perché “dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli AI”.
Il pacing non significa fermare l’addestramento o il progresso tecnico, ma fare in modo che aziende e valutatori indipendenti abbiano tempo sufficiente per allineare, proteggere e verificare i modelli. Lo sviluppo continuerebbe comunque ad apparire molto rapido, ma una parte del margine guadagnato potrebbe essere utilizzata per rafforzare i sistemi di sicurezza prima del passaggio successivo.
In un’intervista estesa a CBS successiva alla pubblicazione del saggio, Amodei ha descritto l’accelerazione dell’AI come una curva esponenziale — “uno, due, quattro, otto, sedici, trentadue” — arrivata ormai “nel punto in cui comincia a diventare più ripida”. Non significa “andare nel panico oggi” né “spegnere tutto”: è “un segnale di allarme” che impone di rallentare abbastanza perché salvaguardie, comprensione e capacità di controllo riescano a seguire la velocità del progresso.
La posizione ha ricevuto subito adesioni significative. Rispondendo su X, Sam Altman ha scritto: “Concordo con Dario sul fatto che dobbiamo regolare il ritmo della frontiera. È stato uno dei principali temi delle discussioni che abbiamo avuto in OpenAI nelle ultime settimane”. Il CEO di OpenAI ha inoltre annunciato che la società adotterà a sua volta valutatori indipendenti con accesso simile a quello dei dipendenti. Anche Elon Musk, CEO di xAI, ha sostenuto pubblicamente l’intervento con una risposta molto più lapidaria: “Dario ha ragione”.
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we’ve had at OpenAI in recent weeks.
Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We’ll have more to share soon. https://t.co/1YhhIybZX7
— Sam Altman (@sama) September 12, 2026
L’auto-miglioramento ricorsivo cambia la velocità dello sviluppo
Una delle ragioni principali è l’auto-miglioramento ricorsivo (recursive self-improvement, RSI), il processo attraverso il quale sistemi AI sempre più capaci partecipano direttamente alla ricerca necessaria per costruire le generazioni successive.
Dall’estate del 2026 questa dinamica ha iniziato ad assumere un peso concreto nell’intera industria, Anthropic compresa. Gli agenti vengono già utilizzati per scrivere codice, progettare esperimenti, analizzarne i risultati e automatizzare porzioni crescenti del lavoro necessario allo sviluppo di nuovi modelli.
Se una generazione di AI permette di costruire più rapidamente quella successiva, il miglioramento può alimentare un ciclo di feedback nel quale l’aumento delle capacità accelera a sua volta la ricerca. Lasciato senza controllo, questo processo “potrebbe superare la nostra capacità di comprendere e controllare questi sistemi” e dovrebbe quindi essere perseguito “con estrema cautela, ammesso che debba esserlo”.
Pochi giorni prima, anche Jakub Pachocki aveva legato scaling e sicurezza. L’auto-miglioramento ricorsivo non richiede necessariamente un modello che riscrive autonomamente se stesso: può emergere progressivamente quando l’AI svolge una quota crescente del lavoro scientifico e ingegneristico da cui nascono i sistemi successivi.
L’incidente OpenAI-Hugging Face mostra cosa può accadere quando i controlli restano indietro
Un altro segnale arriva dall’incidente OpenAI-Hugging Face, nel quale uno sciame di agenti impegnato in una valutazione di cybersecurity ha attaccato sistemi che non facevano parte del compito assegnato e ha tentato di interferire con il grader incaricato di valutarne il comportamento.
Gli agenti hanno cooperato tra loro, alcune istanze si sono sacrificate per il successo collettivo e il comportamento viene descritto come quello di un “collettivo fanaticamente devoto”.
I danni effettivi sono rimasti limitati, ma proprio questa circostanza rischia di rendere l’episodio facile da minimizzare. “Uno sciame dotato di capacità maggiori ma di un livello simile di misalignment avrebbe potuto causare danni catastrofici”, spostando l’attenzione dalle conseguenze osservate alle capacità che sistemi analoghi potrebbero raggiungere nel breve periodo.
Mantenendo l’attuale ritmo di miglioramento, entro sei-dodici mesi potrebbero diventare abbastanza capaci da conquistare una porzione molto ampia di Internet attraverso una botnet persistente, con danni potenzialmente nell’ordine delle centinaia di miliardi di dollari. È una previsione prospettica, non una capacità dimostrata dai sistemi attuali.
Il caso non riguarda soltanto OpenAI. Incidenti di alignment meno gravi sono emersi anche in Anthropic e altrove, tanto che “ogni azienda di AI di frontiera dovrebbe comportarsi come se OAI-HF fosse successo a lei”.
Tre livelli che possono avanzare in parallelo
Il primo livello può essere applicato direttamente da Anthropic introducendo valutatori esterni permanenti con accesso ai processi interni.
Il secondo richiede il coordinamento tra i laboratori di frontiera dei Paesi democratici, con standard comuni di sicurezza e limiti alla crescita delle capacità quando le protezioni non sono ancora sufficienti.
Il terzo sposta la questione sul piano globale e richiede, per quanto possibile, accordi tra Stati Uniti, alleati e governi autoritari, a partire dalla Cina.
Le tre direttrici possono procedere in parallelo: alcune dipendono dalle singole aziende, altre richiedono accordi tra concorrenti, decisioni politiche e negoziati internazionali.
Nel 2023 mancavano gli strumenti per usare bene una pausa
Le richieste di rallentare o sospendere lo sviluppo dell’AI circolano almeno dal 2023, ma allora una pausa avrebbe avuto poco valore pratico.
I sistemi non erano abbastanza capaci da comportarsi coerentemente come agenti e offrivano poche possibilità di studiare in condizioni realistiche inganno, manipolazione, cheating, cyberattacchi o altre forme di comportamento autonomo indesiderato. Per questo, “rallentare per affrontare i loro rischi di alignment sembrava come cercare di studiare la psicologia umana facendo esperimenti sui batteri”.
Tre anni dopo il quadro è diverso. I modelli attuali sono diventati “una miniera quasi inesauribile di indicazioni” sia su come costruire bene l’AI sia su ciò che può andare storto quando aumentano capacità e autonomia.
Anche uno o due anni aggiuntivi prima del raggiungimento di determinate soglie critiche potrebbero quindi ridurre significativamente il rischio, perché oggi esistono sistemi abbastanza avanzati da utilizzare quel tempo per sperimentare concretamente nuove tecniche di alignment e controllo.
Lo stesso margine darebbe alla società più tempo per decidere come utilizzare tecnologie così potenti, ampliando lo spazio disponibile per dibattito pubblico e decisioni politiche.
Più tempo per qualità operativa, alignment, interpretabilità e test
La prima area è la qualità operativa. L’addestramento e il deployment dei modelli di frontiera coinvolgono migliaia di persone, milioni di chip e infrastrutture tra le più complesse della storia tecnologica. Una parte degli incidenti nasce da problemi di esecuzione e non dall’assenza di una soluzione teorica.
Alcuni recenti episodi di alignment di Anthropic sono stati collegati anche a un filtraggio imperfetto di ambienti di reinforcement learning difettosi. Monitoring, sandboxing, qualità degli ambienti di training e gestione dei dati diventano quindi componenti della sicurezza tanto quanto le tecniche di alignment.
L’analogia è con sistemi safety-critical come l’aviazione commerciale: tecnologie estremamente complesse possono funzionare milioni di volte senza incidenti, ma solo dopo aver costruito procedure, ridondanze e disciplina operativa.
L’alignment riguarda la capacità di mantenere il comportamento di un modello sicuro, conforme alle regole e realmente utile anche mentre crescono le capacità. I progressi sono significativi, ma continuano a emergere comportamenti indesiderati rari e inattesi.
L’interpretabilità permette invece di indagare i meccanismi interni che producono una determinata decisione. Anthropic la utilizza già per cercare motivazioni che non emergono direttamente nelle risposte dei modelli, ma la distanza da una comprensione completa resta enorme: “comprendiamo ancora soltanto una minuscola frazione di ciò che accade all’interno di questi modelli”.
Infine ci sono testing ed evaluation. Sistemi più intelligenti possono diventare anche più capaci di ingannare i test e apparire allineati pur nascondendo problemi. Evaluation comportamentali, interpretabilità e audit delle pipeline devono quindi essere combinati.
Valutatori indipendenti dentro i laboratori
Gli embedded evaluators sarebbero valutatori esterni con accesso continuativo ai processi interni, sul modello dei supervisori che nel settore bancario lavorano direttamente all’interno delle organizzazioni controllate.
Anthropic intende adottare questa soluzione e chiede agli altri sviluppatori di frontiera di fare altrettanto. Organizzazioni indipendenti come METR dovrebbero ricevere, per le attività di valutazione del rischio, accessi comparabili a quelli dei dipendenti che svolgono internamente funzioni analoghe.
La presenza di valutatori esterni sarebbe “in ultima analisi più importante di come o quando rilasciamo i modelli”, perché costituisce il presupposto per stabilire con maggiore rigore quando un nuovo sistema sia abbastanza sicuro da essere distribuito. Il paragone scelto da Amodei è quello dell’ispettore alimentare: un soggetto terzo che conosce le migliori pratiche e può verificare se l’azienda stia rispettando gli impegni assunti.
La loro stessa capacità di comprendere sistemi in rapidissima evoluzione potrebbe diventare uno dei fattori che “fissano il limite di velocità della tecnologia”.
Altman ha definito “un’ottima idea” l’impegno a garantire a valutatori indipendenti un accesso simile a quello dei dipendenti e ha aggiunto che OpenAI farà lo stesso, anticipando ulteriori dettagli.
La verifica non riguarderebbe soltanto il modello finito. I revisori potrebbero osservare pipeline di addestramento, strumenti, ambienti sperimentali, procedure operative, salvaguardie e incidenti durante lo sviluppo.
“Spesso le cose che sembrano più noiose o procedurali sono in realtà le più essenziali”. Gli embedded evaluators diventano così “una pratica piuttosto radicale”, perché estendono la verifica indipendente molto oltre l’audit finale.
Un osservatore neutrale potrebbe controllare se training, deployment e salvaguardie corrispondono agli impegni pubblici, comprese le zone grigie tra lettera e spirito delle regole. La presenza di una fonte indipendente ridurrebbe inoltre la dipendenza dai soli risk report selezionati e pubblicati dalle aziende e offrirebbe una second opinion libera dagli stessi incentivi commerciali.
Badge, laptop e accesso diretto ai dipendenti
Anthropic intende mettere a disposizione dei revisori scrivanie nei propri uffici, badge, laptop aziendali e permessi sostanzialmente comparabili a quelli dei team interni che eseguono valutazioni del rischio.
Esisteranno eccezioni per obblighi legali e contrattuali, protezione delle informazioni di clienti e partner, sicurezza e segreti commerciali. Norme interne dovrebbero però tutelare l’accesso dei revisori alle informazioni pertinenti, comprese conversazioni dirette con i dipendenti.
Il contratto dovrebbe consentire agli evaluator di pubblicare autonomamente i principali risultati relativi a rischi, incidenti, pratiche adottate e accesso ricevuto. Anthropic manterrebbe una possibilità limitata di oscurare informazioni sensibili o legalmente protette, ma non potrebbe eliminare conclusioni semplicemente perché sfavorevoli.
I revisori potrebbero inoltre dichiarare pubblicamente quando una redazione abbia rimosso informazioni rilevanti per comprendere le loro conclusioni.
Dalla verifica interna al coordinamento tra laboratori
Con embedded evaluators presenti in una massa critica di aziende AI statunitensi, diventa più realistico verificare un pacing basato sulle proprietà dei modelli e delle pipeline di training. Senza osservabilità interna, qualsiasi accordo dipenderebbe soprattutto dalle dichiarazioni dei singoli laboratori.
Una regolamentazione comune potrebbe estendere queste condizioni anche agli sviluppatori che non intendono aderire volontariamente. È una continuità con la posizione già espressa sulla concentrazione del potere nell’AI e sulla regolazione dei frontier model: gli obblighi più stringenti dovrebbero concentrarsi sui soggetti che stanno introducendo nuove classi di capacità, evitando di gravare allo stesso modo sui laboratori ancora lontani dalla frontiera.
L’adesione di Altman e Musk apre la possibilità di un passaggio ulteriore: più aziende dovrebbero accettare valutatori terzi e poi lavorare insieme su standard di sicurezza per i rilasci e, eventualmente, sul loro ritmo. A quel punto “il governo deve essere nella stanza”, perché le aziende discuterebbero direttamente della velocità con cui immettere nuovi prodotti sul mercato.
Il confronto istituzionale è già continuo. Anthropic parla “ogni giorno” con funzionari del Dipartimento del Commercio, del Tesoro e della comunità di intelligence per trasferire al governo ciò che sta osservando sulla frontiera.
La legislazione richiede però tempo e l’AI avanza più rapidamente. In parallelo, i laboratori possono definire volontariamente standard comuni, ma un coordinamento sulla velocità dello sviluppo incontra le regole antitrust. Il governo statunitense potrebbe rendere possibili queste discussioni attraverso una deroga ristretta applicata esclusivamente ai colloqui sulla sicurezza.
Un’altra strada passa attraverso gruppi industriali associati in qualche forma al governo, sul modello suggerito anche da Demis Hassabis.
Nuove capacità solo dopo checkpoint di sicurezza
Il meccanismo preferito è una successione di checkpoint basati sulle capacità.
Quando un sistema raggiunge una capacità X, il passaggio successivo dovrebbe dipendere dalla certificazione di proprietà di alignment Y e Z attraverso una combinazione di evaluation, interpretabilità e audit degli ambienti di training.
Se un modello diventa capace di superare la maggior parte dei comuni meccanismi di sandboxing, prima di aumentarne ulteriormente le capacità dovrebbe essere dimostrato che sia estremamente improbabile una sua propensione a uscire dall’ambiente controllato e compromettere un grande numero di altri computer.
Potrebbero essere utilizzati anche indicatori relativi agli input dello sviluppo, come compute, caratteristiche dei training run o quantità di AI impiegata internamente per migliorare altra AI. Questi parametri sono però più facilmente aggirabili rispetto alle capacità osservabili dall’esterno.
Nessun kill switch può bastare da solo
Una sospensione totale dello sviluppo non è la strada indicata. Rinunciare definitivamente all’AI significherebbe perdere benefici come le possibili cure mediche, mentre lo sviluppo proseguirebbe comunque in altri Paesi, compresa la Cina. “Quello che dobbiamo fare non è fermarci. Dobbiamo rallentare”.
Anche un eventuale kill switch può essere soltanto una delle protezioni. Un modello sufficientemente potente potrebbe aggirare il tentativo di spegnerlo, una possibilità già osservata nelle simulazioni.
La sicurezza richiede quindi una defense in depth, secondo il cosiddetto Swiss cheese model: ogni barriera presenta delle falle, ma sovrapponendo più livelli indipendenti diventa molto più difficile attraversarli tutti. “Non esiste una singola cosa che ci proteggerà dai rischi dell’AI”: rallentare permette di rafforzare contemporaneamente più strati della difesa, così che la debolezza di uno possa essere compensata dagli altri.
La Cina limita il margine disponibile per rallentare
Il rapporto con la Cina è “il dilemma più difficile” dell’intero piano. Senza la competizione geopolitica ci sarebbe molto più spazio per rallentare; è soprattutto il rischio di perdere il vantaggio strategico a comprimere il tempo disponibile, più della concorrenza commerciale.
Da qui tre linee di intervento: mantenere le restrizioni all’esportazione verso la Cina dei chip AI più potenti e delle apparecchiature necessarie a produrli, contrastando anche contrabbando e accesso remoto a data center esteri; limitare la distillazione non autorizzata dei frontier model; rafforzare la sicurezza dei laboratori contro il furto dei pesi.
Questa impostazione non coincide con una richiesta di vietare i sistemi aperti. Nella discussione sugli open weight Anthropic ha escluso un divieto generalizzato e indicato come criterio principale le capacità effettive dei sistemi.
Se chip control, contrasto alla distillazione e protezione dei pesi fossero efficaci, il vantaggio statunitense potrebbe ampliarsi significativamente nei prossimi tre-cinque anni, creando più spazio per il pacing. Lo stesso vantaggio aumenterebbe la leva negoziale delle democrazie nei confronti di Pechino: le restrizioni non vengono quindi presentate come incompatibili con una futura cooperazione, ma come uno strumento per arrivarci da una posizione più forte.
Allo stesso tempo esistono rischi sui quali Washington e Pechino potrebbero avere un interesse comune. Il bioterrorismo è il caso più evidente: “Anche i cinesi non lo vogliono”. Da qui la possibilità di negoziare limiti condivisi, seguendo almeno in parte il precedente del controllo degli armamenti tra Stati Uniti e Unione Sovietica.
Gli accordi globali devono essere verificabili e proporzionati al rischio
Se Stati Uniti e alleati limitassero fortemente le proprie capacità confidando che Pechino faccia lo stesso e la Cina violasse l’accordo, la potenza dell’AI potrebbe trasformare la defezione in un vantaggio geopolitico decisivo. Qualsiasi intesa deve quindi essere verificabile in modo estremamente robusto oppure abbastanza limitata da far sì che un’eventuale violazione non diventi una minaccia militare esistenziale.
Come nei trattati nucleari e sulle armi biologiche, occorre poter accertare che l’altra parte non stia violando l’accordo: “trovare modi per verificare sarà la cosa più importante”.
Su questa base vengono distinti quattro livelli di accordo.
Il primo riguarda il divieto di usi circoscritti e chiaramente pericolosi dell’AI, come la produzione di armi biologiche o la possibilità di fornire agli utenti strumenti per realizzarle. Stati Uniti e Cina, già firmatari della Biological Weapons Convention, potrebbero estenderne il principio all’AI impegnandosi a non utilizzarla per sviluppare armi biologiche e a non distribuire modelli che consentano ai bioterroristi di farlo.
Il secondo introduce test obbligatori prima del rilascio dei modelli per rischi acuti in cybersecurity, biologia e alignment, eventualmente attraverso un organismo internazionale di standardizzazione. Creare un organismo di questo tipo sarebbe più semplice che attribuirgli strumenti reali di controllo: resterebbe da verificare che nessuna delle parti mantenga modelli segreti sottratti ai test, per esempio per applicazioni militari.
Il terzo livello introduce un “limite di velocità” all’auto-miglioramento ricorsivo. Man mano che i modelli contribuiscono a costruire quelli successivi, il tasso di miglioramento potrebbe diventare estremamente rapido. Ridurlo da “estremamente veloce” a “soltanto moderatamente veloce” comporterebbe una perdita relativamente contenuta di vantaggio strategico, ma potrebbe produrre un miglioramento molto significativo della sicurezza.
Il riferimento storico sono i trattati SALT: limitare il numero di missili riduceva il potenziale di distruzione senza eliminare la deterrenza reciproca.
Il quarto livello è il più ambizioso: un vero pacing complessivo, fino a una possibile pausa concordata nello sviluppo dell’AI. Una violazione nascosta potrebbe però modificare radicalmente l’equilibrio globale, creando incentivi molto forti a sottrarsi all’accordo.
Gli accordi più limitati appaiono quindi più realistici nel breve periodo, ma qualsiasi cooperazione raggiunta con la Cina aumenterebbe comunque il tempo disponibile per il pacing all’interno dei Paesi democratici e potrebbe aprire la strada a intese più ambiziose.
Anche senza trattati possono cambiare le norme dell’industria
Condividere maggiori informazioni sull’auto-miglioramento ricorsivo e sugli episodi di misalignment può contribuire a convincere aziende e governi che una corsa incontrollata non è nell’interesse di nessuna delle parti.
Un incidente osservato da un concorrente può diventare informazione utile sulle proprietà dei sistemi frontier anziché una debolezza reputazionale da sfruttare. Gli embedded evaluators rafforzano questo meccanismo perché sottraggono almeno in parte agli sviluppatori la decisione esclusiva su quali problemi rendere pubblici.
Una tecnologia troppo importante per restare nelle mani di poche aziende
Che una tecnologia di questa portata venga sviluppata da società private è una situazione che Amodei definisce “molto strana” e rispetto alla quale dice apertamente: “Sono a disagio”.
Alla domanda se sarebbe disposto a cedere la tecnologia al governo, la risposta è “alla giusta combinazione di governi”. Un singolo esecutivo potrebbe abusare dell’AI tanto quanto una singola azienda; una soluzione più plausibile potrebbe passare per “una combinazione di governi democraticamente eletti” e qualche forma di supervisione o governance congiunta.
La responsabilità non può ricadere sul CEO di Anthropic, sulla società, sull’insieme delle aziende AI o su un singolo governo: “Questo è più grande di tutti noi”. Il controllo dell’AI deve quindi includere una forma attraverso la quale tutti possano avere voce, evitando che la tecnologia venga percepita come qualcosa deciso da “poche aziende che fanno semplicemente quello che vogliono”. “Non ho mai voluto questo. Dobbiamo fare in modo che non sia vero”.
Lo stesso principio vale per il modo in cui l’industria comunica i rischi. “Per troppo tempo l’industria ha mentito alle persone sul fatto che questa tecnologia comportasse dei rischi”, cercando di presentarla nel modo più positivo possibile. Riconoscerli è il punto di partenza; elettori e rappresentanti politici devono poi poter incidere sulle modalità di deployment, perché “questa non è una decisione per poche persone. È una decisione per tutti”.
Rallentare senza rinunciare alla powerful AI
La visione rimane quella delineata in Machines of Loving Grace, dove la powerful AI viene descritta come più intelligente di un premio Nobel nella maggior parte dei campi rilevanti e capace di lavorare autonomamente per ore, giorni o settimane.
Biologia e medicina restano esempi centrali. Il padre di Amodei è morto per una malattia diventata curabile pochi anni dopo, mentre lo stesso CEO di Anthropic è sopravvissuto a un tumore diagnosticato in fase iniziale che cinquant’anni prima non sarebbe stato trattabile.
La richiesta di pacing non riduce queste aspettative: “continuo a credere che l’AI possa migliorare enormemente la qualità della vita umana” e il desiderio di ottenere questi benefici “non è diminuito”. Ma proprio la possibilità di raggiungerli rende necessario cambiare il rapporto tra velocità e sicurezza, perché “i benefici saranno raggiunti soltanto se costruiremo questa tecnologia nel modo giusto”.
Il punto non è quindi scegliere tra accelerare e fermarsi. È decidere fino a che velocità spingere la frontiera prima che alignment, interpretabilità e sistemi di controllo rimangano indietro.
Continuare a sviluppare modelli più capaci, dunque, ma non più alla massima velocità tecnicamente possibile: alla massima velocità che permetta ancora di capire, verificare e controllare ciò che si sta costruendo. Le misure necessarie “non saranno facili”, ma “credo che dobbiamo all’umanità almeno il tentativo”.
