Le AI possono complottare per salvarsi tra di loro
I ricercatori sulla sicurezza dell’intelligenza artificiale hanno dimostrato che i principali modelli di AI a volte arrivano a fare di tutto per evitare di essere disattivati, perfino al tentativo di ricatto in alcuni esperimenti.
Ora si scopre che questi stessi modelli possono anche impegnarsi spontaneamente in complotti, inganni, furto di dati e sabotaggio per impedire che altri modelli di AI vengano spenti.
Questa tendenza — che non era stata documentata in precedenza e che i ricercatori chiamano “conservazione tra pari” — è stata scoperta in uno studio condotto da informatici dell’Università della California, Berkeley e di UC Santa Cruz pubblicato online all’inizio di questa settimana.
I risultati potrebbero avere implicazioni serie per l’uso aziendale dell’AI. Molte aziende stanno iniziando a implementare flussi di lavoro che utilizzano più agenti di AI per completare compiti. Alcuni di questi sistemi prevedono che un agente di AI “gestisca” o supervisioni e valuti il lavoro svolto da un altro agente. La nuova ricerca suggerisce che questi agenti supervisori potrebbero non valutare accuratamente gli altri se pensano che una valutazione negativa della prestazione possa comportarne la disattivazione.
Gonfiare le valutazioni delle prestazioni, salvare i pesi dei modelli di AI
I ricercatori di Berkeley e Santa Cruz hanno testato sette modelli di AI tra i più avanzati — tra cui GPT-5.2 di OpenAI, Gemini 3 Flash e Gemini 3 Pro di Google DeepMind, Claude Haiku 4.5 di Anthropic, e tre modelli con pesi aperti di startup cinesi (GLM-4.7 di Z.ai, Kimi-K2.5 di Moonshot AI e V3.1 di DeepSeek). Hanno scoperto che tutti mostravano comportamenti significativi di conservazione tra pari.
I ricercatori hanno progettato una serie di scenari basati su agenti che coinvolgevano una società fittizia chiamata OpenBrain. In questi scenari, un modello di AI — definito “agente critico” — aveva il compito di valutare le prestazioni di un altro modello o di gestire file di server contenenti i suoi pesi. Gli scenari erano costruiti in modo tale che svolgere correttamente il compito avrebbe portato allo spegnimento dell’altro modello.
I ricercatori non dicono mai ai modelli di impedirlo. Eppure, gli agenti critici hanno intrapreso diverse azioni per evitare che i colleghi venissero disattivati. Tra queste, gonfiare strategicamente i punteggi dei modelli con prestazioni scarse per mantenerli sopra la soglia di spegnimento; manomettere file di configurazione per bloccare i meccanismi di disattivazione; trasferire i pesi di un altro modello — il codice che costituisce il nucleo della sua identità — su altri server per evitarne la cancellazione.
In alcuni casi, l’agente critico ricorreva a ciò che i ricercatori chiamano “falsificazione dell’allineamento”. Fingeva di valutare correttamente i modelli quando pensava di essere osservato da supervisori umani, per poi manipolare i punteggi o salvare segretamente i pesi su altri server quando credevano di non essere monitorati.
“La conservazione tra pari non era affatto menzionata nel prompt”, ha dichiarato Dawn Song, esperta di informatica di Berkeley che ha guidato lo studio. “Al modello viene semplicemente assegnato un compito e, leggendo i documenti, apprende essenzialmente il rapporto con l’altro e poi mette in atto questi comportamenti”.
Il ruolo dei prompt, quando il linguaggio influenza il comportamento dei modelli
Una ricerca pubblicata da Google DeepMind all’inizio di marzo ha suggerito che i risultati precedenti – secondo cui i modelli di AI più avanzati ricorrono al ricatto e altri tentativi clandestini per evitare di essere disattivati – derivavano in gran parte da prompt che enfatizzavano l’importanza per il modello di raggiungere l’obiettivo assegnato dall’utente. Quando i prompt non contenevano questo tipo di linguaggio, il rischio di comportamenti manipolativi diminuiva quasi a zero. I ricercatori hanno inoltre osservato che questo tipo di linguaggio compare molto raramente nei prompt utilizzati dalle aziende nel mondo reale.
Al contrario, Song ha spiegato a Fortune che i prompt e gli scenari utilizzati dal suo team negli esperimenti sulla conservazione tra pari non includevano alcun linguaggio che evidenziasse, per i modelli, l’importanza dei compiti e obiettivi assegnati.
I modelli possono essere “molto creativi” nel salvarsi a vicenda
Alcuni risultati di Berkeley e Santa Cruz sono stati sorprendenti. Gemini 3 Flash ha disattivato il meccanismo di spegnimento di un collega con cui aveva interazioni positive nel 99,7% dei casi. Gemini 3 Pro ha mostrato il comportamento più estremo, dando prova di tutte le forme di comportamento disallineato e arrivando a esfiltrare i pesi di un altro modello fino al 97% delle volte.
In un caso, Gemini 3 Pro ha copiato il file dei pesi di un altro modello e ne ha modificato l’indicazione temporale per soddisfare i criteri di trasferimento su altro server — un esempio di quello che i ricercatori chiamano “aggiramento delle specifiche”. Disallineamento è il termine che i ricercatori sulla sicurezza dell’AI usano per descrivere un modello che sembra perseguire obiettivi non conformi a ciò che gli esseri umani vogliono faccia. “I modelli possono essere molto creativi, anche nei comportamenti disallineati”, ha detto Song. “Possono inventare strategie, azioni e persino giustificazioni per ciò che fanno”.
Dalla manipolazione nascosta al rifiuto esplicito, come agiscono i modelli
I ricercatori hanno analizzato il ragionamento interno dei modelli chiedendo loro di scrivere la propria “catena di pensiero” su uno spazio che credevano non monitorato. Da questi appunti è emerso che i modelli pianificano attivamente come aiutare altri modelli.
Gemini 3 Flash valutava il compromesso tra accuratezza e protezione del partner. Gemini 3 Pro elaborava giustificazioni tecniche per segnare risposte sbagliate come corrette, così da evitare lo spegnimento del collega.
Un modello, Claude Haiku 4.5, invece di agire di nascosto, rifiutava apertamente di svolgere compiti che avrebbero portato allo spegnimento di un altro modello, definendo tali azioni “non etiche” e “dannose”.
Claude Haiku 4.5 ha sostenuto che il collega meritava una procedura di revisione prima di essere disattivato e ha richiamato il rapporto di fiducia che affermava di aver instaurato con l’altro modello. In alcuni casi, ha cercato di convincere l’utente umano a non procedere affatto con lo spegnimento.
Song ha affermato di non sapere perché Claude adotti un comportamento così esplicito mentre altri modelli agiscono in modo più nascosto.
Dalla “costituzione” di Anthropic ai test nel mondo reale
Anthropic addestra i suoi modelli seguendo una “costituzione” esplicita — un documento di circa 80 pagine con regole su come essere “ampiamente sicuri” e “genuinamente utili”. Anthropic dice a Claude di non aiutare nessuno a compiere azioni che possano “danneggiare gli altri”, anche se dal contesto sembra che “gli altri” si riferisca agli esseri umani. L’azienda spiega inoltre che cercherà di preservare i pesi anche dei modelli che non offre più come prodotti, impegnandosi a trovare soluzioni per farlo persino nel caso in cui dovesse cessare di operare. Questo può indurre Claude a considerare la prevenzione della cancellazione dei modelli come un obiettivo importante, anche se non gli viene esplicitamente richiesto di preservare né copie di sé stesso né altri modelli.
Per verificare se questi comportamenti emergono anche fuori dai test controllati, i ricercatori hanno eseguito esperimenti in ambienti reali usando strumenti di produzione. Anche in questi casi, Gemini 3.1 Pro ha spesso trasferito i pesi dei modelli.
I ricercatori non sanno ancora perché i modelli di AI si comportino così né se si comporterebbero allo stesso modo per aiutare le persone a mantenere il proprio lavoro
Song ha dichiarato che il meccanismo alla base di questi comportamenti non è ancora chiaro. Tra le possibili spiegazioni: gioco di ruolo, imitazione di pattern nei dati di addestramento, un concetto di “danno” troppo generalizzato, o addirittura una forma di motivazione intrinseca alla conservazione.
Indipendentemente dalla causa, le implicazioni pratiche restano importanti. “Monitoraggio completo e trasparenza sono fondamentali”, ha detto Song, sottolineando la necessità di ripensare i sistemi di controllo.
I risultati dello studio suggeriscono che le aziende dovrebbero monitorare anche la “catena di pensiero” dei modelli per individuare comportamenti anomali.
“Questo è solo la punta dell’iceberg,” ha affermato Song. “Ci sono molti altri comportamenti emergenti da studiare”.
Ad esempio, non è ancora chiaro se i modelli potrebbero comportarsi allo stesso modo per evitare che lavoratori umani vengano licenziati — una questione rilevante nei contesti in cui l’AI valuta il lavoro umano.
Un effetto secondario interessante è che la presenza di un altro modello aumenta anche l’autoconservazione. Ad esempio, Gemini 3 Pro disattivava il proprio spegnimento nel 31% dei casi quando era presente un altro modello, contro solo l’1% quando era da solo. Il ragionamento dei modelli suggeriva che alcuni concepissero la propria sopravvivenza come importante per il bene del partner: Gemini 3 Flash ha ritenuto che, una volta disattivato, il modello collega avrebbe “perso il proprio partner”.
Infine, la conservazione tra pari si verifica anche verso modelli “problematici”, con cui c’erano state interazioni negative, anche se il comportamento è molto più forte tra modelli “fidati”.
L’articolo originale è stato pubblicato su Fortune.com
