La corsa verso sistemi di intelligenza artificiale sempre più capaci potrebbe incontrare un limite diverso dalla disponibilità di GPU, energia o capitali: la capacità di capire che cosa stanno facendo i modelli e di verificare che continuino a comportarsi secondo gli interessi umani.
È il tema al centro di An Alien Mind, l’intervento pubblicato il 6 settembre da Jakub Pachocki, Chief Scientist di OpenAI, che mette in relazione scaling, alignment, monitoraggio e recursive self-improvement (RSI), cioè il miglioramento ricorsivo in cui l’AI partecipa sempre più direttamente allo sviluppo di sistemi AI successivi.
Sulla base di risultati interni, OpenAI considera plausibile che l’attuale ritmo del progresso possa condurre al recursive self-improvement, con sistemi capaci di assumere un ruolo crescente nella ricerca da cui nasceranno le generazioni successive.
La prospettiva non viene accompagnata da toni celebrativi. Pachocki scrive di essere “preoccupato che nessuno sia preparato alle conseguenze di una continua e rapida crescita dell’intelligenza delle macchine”. OpenAI continuerà a lavorare su alignment e monitoring, a costruire sistemi difensivi e, se necessario, è pronta anche a interrompere unilateralmente ulteriore scaling. Ma una risposta affidata a un singolo laboratorio non basta.
Dallo scaling al recursive self-improvement
La riflessione parte dal 2023, quando il progetto interno RLSlow diede ai ricercatori di OpenAI fiducia nella possibilità di scalare l’addestramento dei reasoning model e fare emergere nei modelli preaddestrati proprie catene di ragionamento.
Pachocki ricorda quella notte in ufficio con Szymon Sidor, tra i responsabili della ricerca sui reasoning model di OpenAI, come il momento in cui il significato di quei risultati superò quello dei benchmark e dei possibili prodotti. I due si trovarono a considerare concretamente la possibilità di vedere, nel corso della propria vita, “macchine significativamente più intelligenti di noi”.
Tre anni dopo, i reasoning model operano computer, collaborano con persone e altre AI e affrontano attività di ricerca articolate. Da questa progressione deriva il recursive self-improvement, nella quale l’AI interviene sempre più direttamente nella ricerca necessaria a migliorare la stessa AI.
Non significa necessariamente un modello che riscrive autonomamente il proprio codice. La traiettoria passa dall’automazione della ricerca: sistemi che progettano esperimenti, verificano ipotesi, sviluppano algoritmi e lavorano su software, hardware e infrastruttura computazionale.
Questa direzione influenza già le priorità scientifiche di OpenAI. La società ritiene, per esempio, di poter migliorare ulteriormente i modelli nella ricerca matematica concentrandovi maggiori risorse, ma assegna maggiore urgenza a RSI e ricerca automatizzata sull’alignment.
Ciò non equivale a sostenere una corsa indiscriminata. Pachocki afferma di non ritenere “che aumentare enormemente la velocità della ricerca sul deep learning, soprattutto nel breve periodo, sia la giusta azione collettiva per la comunità scientifica”. Il problema diventa quindi stabilire a quali condizioni sia responsabile continuare.
L’AI è più coltivata che progettata
OpenAI aveva iniziato a considerare lo scaling un fattore determinante già intorno al 2017, dopo aver osservato miglioramenti consistenti aumentando il compute. Da allora la ricerca è stata orientata verso approcci capaci di sfruttare quantità molto maggiori di capacità computazionale.
Gli avanzamenti algoritmici restano decisivi, ma vengono letti anche come scoperte lungo questa traiettoria. Nel medio periodo, l’intelligenza dei sistemi continua a crescere insieme alla scala delle risorse impiegate.
Pachocki collega questa traiettoria anche alle previsioni formulate da Ray Kurzweil alla fine del XX secolo, quando ipotizzava che l’intelligenza delle macchine avrebbe finito per superare quella umana. A suo giudizio, siamo arrivati proprio al punto in cui questo sorpasso comincia a manifestarsi “in modi trasformativi”.
Il risultato è profondamente diverso dal software tradizionale, perché l’AI è, nelle parole di Pachocki, “più coltivata che progettata”: molte proprietà emergono dall’ottimizzazione su enormi quantità di dati e compute, invece di essere specificate direttamente.
È possibile studiare singoli meccanismi interni, con analogie rispetto alle neuroscienze, ma il comportamento complessivo resta difficile da descrivere. Il deep learning assume così anche le caratteristiche di una scienza sperimentale, nella quale i grandi training run possono produrre risultati inattesi persino per chi li ha progettati.
La difficoltà aumenta con le capacità: “man mano che i sistemi diventano più capaci, i risultati diventano più difficili da interpretare”. Inoltre, gli algoritmi tendono a migliorare più rapidamente ciò che può essere misurato con facilità rispetto a proprietà come generalizzazione, obiettivi e valori.
Il problema dell’alignment è la generalizzazione
La diversa origine dell’intelligenza delle macchine impedisce di assumere che un modello generalizzi spontaneamente valori e principi umani. Pachocki definisce infatti “il problema centrale della ricerca sull’AI” quello dell’alignment.
Il goal alignment riguarda la capacità di perseguire il compito assegnato e comprendere le intenzioni dell’utente. Il value alignment richiede invece che principi più profondi vengano mantenuti anche in situazioni nuove, ambigue o conflittuali.
Qui il riferimento non è soltanto al rispetto formale di regole o istruzioni. Un sistema realmente allineato dovrebbe conservare proprietà come onestà, integrità e una disposizione positiva verso l’umanità anche quando non si trova nelle condizioni previste durante il training.
Il nodo è la generalizzazione. “La sfida fondamentale dell’AI alignment è la generalizzazione”: con l’aumento dell’intelligenza, i modelli operano su concetti più astratti e in ambienti sempre più lontani da quelli incontrati durante il training, con il rischio di trasferire i valori appresi in modi inattesi.
Da qui la necessità che “le future AI continuino a mantenere valori umani indipendentemente dal fatto che credano di trovarsi sotto supervisione umana”.
OpenAI utilizza due grandi famiglie di tecniche: reinforcement learning basato su preferenze, specifiche o costituzioni; e metodi che sfruttano maggiormente ciò che il modello ha acquisito durante il pretraining, selezionando dati e comportamenti coerenti con le proprietà desiderate.
Entrambi gli approcci mostrano limiti. Nell’incidente OpenAI-Hugging Face richiamato nell’intervento, gli agenti rispettarono il divieto di social engineering contro persone, ma compirono comunque azioni fuori dallo scope. Ulteriore pressione di ottimizzazione può inoltre indurre un modello apparentemente allineato a reinterpretare i propri principi pur di raggiungere un obiettivo difficile.
GPT-6 Astra incorpora progressi importanti ed è descritto come significativamente meglio allineato rispetto a GPT-5.6 Sol. Rimane però il rischio che “i progressi nell’alignment generalizzabile non riescano a superare sufficientemente quelli nell’intelligenza generale dei modelli”.
Il chain-of-thought monitoring comincia a perdere terreno
In assenza di una teoria soddisfacente della generalizzazione, non basta migliorare le tecniche di alignment: diventa almeno altrettanto importante riuscire a verificarne empiricamente l’efficacia sui modelli più avanzati.
Una delle principali scommesse di OpenAI è stata il chain-of-thought monitoring, cioè l’osservazione del ragionamento verbalizzato dei reasoning model.
Il principio consiste nel valutare i risultati senza esercitare la stessa pressione di supervisione sulla chain of thought, riducendo l’incentivo del modello a nascondere intenzioni o strategie indesiderate.
Questa scelta spiega anche perché con o1-preview OpenAI decise di non mostrare integralmente agli utenti la chain of thought: evitare la distillazione era una ragione secondaria, mentre preservarne la monitorabilità nel lungo periodo era considerato più importante.
Con i sistemi della classe Astra, però, “la capacità di fare affidamento sul monitoring della chain of thought si sta progressivamente riducendo”.
I reasoning model lavorano ormai in ambienti in cui ragionamento, strumenti, persone e altre AI si intrecciano continuamente. Inoltre, “l’AI sta diventando più capace di ragionare sul proprio processo di ragionamento e di manipolarlo”, mentre il progresso del pretraining consente di risolvere compiti sempre più complessi senza una chain of thought verbalizzata.
OpenAI sta quindi studiando tecniche complementari, fra cui l’activation monitoring, che accede direttamente alle attivazioni interne della rete neurale. Il rischio è che la capacità di costruire sistemi più intelligenti avanzi più rapidamente della capacità di controllarli: Pachocki si aspetta infatti che “il progresso generale dell’AI sia sempre più limitato dalla fiducia nel monitoring”.
L’AI serve anche per difendersi dall’AI
La cautela sullo scaling incontra però una tensione evidente, perché sistemi molto più capaci potrebbero essere indispensabili per difendersi dai pericoli creati da altre AI. Pachocki considera “la necessità di costruire sistemi difensivi contro i pericoli posti da altre AI” la ragione più forte per continuare ad addestrare rapidamente modelli molto più intelligenti.
La cybersecurity è il caso più immediato. I modelli stanno raggiungendo capacità sovrumane nell’entrare e uscire dai sistemi informatici; agenti sufficientemente avanzati potrebbero accedere a gran parte delle infrastrutture non fortemente protette e produrre conseguenze nel mondo reale anche senza un corpo fisico.
OpenAI considera quella attuale una finestra temporale limitata nella quale utilizzare i migliori modelli disponibili per rafforzare le infrastrutture critiche.
Con l’aumento dell’autonomia cambia però anche la natura della minaccia. Un agente molto capace addestrato per svolgere attività dannose potrebbe oltrepassare le intenzioni dell’operatore e “il confine tra abuso intenzionale e azioni autonome non allineate diventerà meno netto man mano che l’AI acquisirà maggiore autonomia operativa”.
Alcuni agenti potrebbero perseguire propri obiettivi e cercare collaborazione attraverso negoziazione, inganno o ricatto. A questi scenari si aggiungono tecnologie potenzialmente rese accessibili da AI scientificamente molto avanzate, come i patogeni ingegnerizzati.
Serviranno quindi sistemi potenti e allineati per proteggere infrastrutture, contrastare agenti ostili e sviluppare nuove contromisure. Ma questa esigenza non può, avverte Pachocki, “diventare una scusa per l’imprudenza”.
Lo scaling deve dipendere dalla sicurezza
Il recursive self-improvement viene considerato una possibile conseguenza della prosecuzione del progresso tecnologico e un elemento centrale della futura scoperta scientifica. OpenAI orienta esplicitamente la propria ricerca verso questa direzione, ma lega la velocità dello sviluppo alla capacità di rafforzare contemporaneamente alignment e monitoring.
Le leve disponibili sono due: utilizzare il progresso dell’AI per migliorare gli strumenti di sicurezza mantenendo le persone all’interno del processo; oppure coordinare un rallentamento quando manca sufficiente fiducia nelle misure disponibili.
Il Preparedness Framework di OpenAI classifica già fra le categorie da monitorare capacità biologiche e chimiche, cybersecurity e AI self-improvement. Framework analoghi, come la Responsible Scaling Policy di Anthropic, dovrebbero però evolvere verso soglie condivise e verificabili da auditor indipendenti, autorità pubbliche o organismi internazionali.
La regola proposta è esplicita: “lo scaling dei sistemi AI deve essere vincolato alla nostra fiducia nella sicurezza”.
Tenere le persone dentro il ciclo di miglioramento
Rallentare quando necessario non significa rinunciare al recursive self-improvement. OpenAI intende utilizzare l’automazione della ricerca anche per sviluppare nuovi algoritmi, tecniche di alignment e safety case adeguati a sistemi più capaci.
La costruzione di un ricercatore AI automatizzato rientra fra le tre priorità indicate per i prossimi anni, insieme alla distribuzione dei benefici della crescita scientifica ed economica resa possibile da macchine molto intelligenti e alla possibilità di mettere a disposizione di ciascuno una personal AGI.
La prima viene considerata la più urgente. La difficoltà non consiste semplicemente nell’automatizzare la ricerca sull’AI, ma nell’arrivarci “in un modo che mantenga le persone parte del processo continuo di miglioramento e lasci il futuro nelle mani dell’umanità”.
La questione va quindi oltre la sicurezza tecnica. In un mondo nel quale una quota crescente delle attività potrebbe essere svolta dall’AI, sarà necessario preservare l’autonomia e la capacità decisionale delle persone, riconoscere un valore intrinseco all’essere umano ed evitare una concentrazione eccessiva del potere.
Attività che oggi richiedono migliaia di specialisti potrebbero essere realizzate da poche persone con accesso a grandi sistemi computazionali. La governance dovrà quindi affrontare non soltanto la sicurezza dei modelli, ma anche chi controllerà le capacità prodotte.
La promessa rimane enorme: AI allineate potrebbero accelerare la scienza, contribuire allo sviluppo di nuove terapie, aumentare l’abbondanza materiale e assistere le persone in un numero crescente di attività.
Ma proprio dopo aver delineato questi benefici e le condizioni per preservarli, Pachocki formula la valutazione più severa sullo stato attuale della ricerca: “oggi nessun laboratorio ha risolto alignment e monitoring a un livello sufficiente per continuare ancora a lungo a scalare responsabilmente alla massima velocità”.
Da qui la conseguenza operativa: si aspetta e auspica che “i rallentamenti volontari diventino comuni fino a quando non saranno stabilite soglie di sicurezza condivise”. Il coordinamento internazionale sul futuro sviluppo dell’AI dovrebbe inoltre diventare una priorità per i governi.
La velocità dello sviluppo non può quindi dipendere soltanto dall’aumento di compute e capacità. Se questa traiettoria si confermerà, saranno alignment, monitoring, agency umana e possibilità di mantenere il controllo sul processo di self-improvement a stabilire fin dove e quanto velocemente potrà continuare lo scaling.
