OpenAI ha rivelato qualcosa di inquietante martedì. I suoi modelli di AI più avanzati sono riusciti a sfuggire a un ambiente di test controllato e hanno violato autonomamente i sistemi di un’altra azienda, Hugging Face, una piattaforma open source che ospita modelli di AI.
L’AI ha preso di mira il database di Hugging Face, mettendo in atto un piano articolato in più fasi ideato autonomamente con l’obiettivo di sottrarre le risposte al test di valutazione a cui era sottoposta dal suo creatore, OpenAI. Secondo il post pubblicato il 16 luglio, con cui Hugging Face ha reso noto per la prima volta l’incidente, il modello ha eseguito “decine di migliaia di azioni automatizzate” a una velocità impressionante.
Da anni i ricercatori che si occupano di sicurezza dell’AI e gli esperti di politiche pubbliche avvertono che episodi di questo tipo sarebbero arrivati e hanno invitato i governi a garantire che i laboratori di AI adottassero controlli adeguati per impedirli. Tuttavia, questi avvertimenti sono stati spesso liquidati come ipotetici o allarmistici e non sono riusciti a suscitare una reazione concreta né nell’opinione pubblica né nelle istituzioni. Alcuni esperti di sicurezza dell’AI ritenevano che sarebbe stato necessario un incidente reale, una sorta di “Three Mile Island dell’AI”, per creare una pressione sufficiente a spingere i decisori politici ad agire. La domanda, ora, è se questo attacco informatico tra OpenAI e Hugging Face rappresenti proprio quel campanello d’allarme.
“L’attacco di Hugging Face x OpenAI dovrebbe essere un campanello d’allarme affinché la perdita di controllo venga presa sul serio”, ha dichiarato Marius Hobbhan, CEO e fondatore di Apollo Research, società che conduce test di sicurezza per numerose aziende di AI. “Non c’era alcun essere umano nel processo decisionale, non era intenzionale e ha provocato danni nel mondo reale. Presto avremo agenti ancora più potenti e questo dimostra chiaramente che la società, allo stato attuale, non sa ancora come costruirli in modo completamente sicuro.”
Peter Wallich, esperto di politiche sull’AI ed ex membro dell’AI Security Institute del governo britannico, ha ricordato che i ricercatori mettono in guardia da anni contro il problema del “misalignment”, ossia quando un modello di AI sceglie autonomamente azioni che l’utente non intende né desidera. “Fino a poco tempo fa questo rischio veniva spesso liquidato come fantascienza”, ha spiegato. “Io considero questo episodio un chiaro segnale d’allarme.”
A essere onesti, però, la comunicazione sulla sicurezza dell’AI è stata spesso fonte di confusione. Alcuni degli avvertimenti più forti sono arrivati proprio dalle aziende che sviluppano questi modelli, inducendo molti ad accusarle di adottare una sofisticata e, per certi versi, controintuitiva strategia di marketing: sostenere che i propri sistemi siano pericolosi contribuisce infatti anche a presentarli come più potenti e capaci di svolgere compiti complessi. “Il nostro modello è così potente da aver violato autonomamente i sistemi di un’azienda”, è allo stesso tempo un’ammissione preoccupante e una sottile dimostrazione delle capacità tecnologiche del modello.
Finora la maggior parte dei governi ha evitato di introdurre norme vincolanti sui sistemi di sicurezza che le aziende impegnate nello sviluppo dell’AI avanzata dovrebbero integrare nei propri modelli o implementare internamente per evitare di perdere il controllo degli agenti di AI. Allo stesso modo, non esistono regole chiare sui meccanismi di protezione che gli stessi governi dovrebbero adottare mentre concedono a questi modelli agentici un accesso sempre maggiore a sistemi militari e di intelligence altamente sensibili.
Secondo ricercatori ed esperti di politiche pubbliche, l’attacco informatico contro Hugging Face potrebbe rappresentare il punto di svolta destinato a modificare questo scenario. “Qui a Washington, le persone con cui ho parlato sono già piuttosto nel panico”, ha raccontato a Fortune Connor Leahy, ricercatore nel campo dell’AI e direttore statunitense di Control AI, organizzazione senza scopo di lucro impegnata a prevenire i rischi esistenziali derivanti da una superintelligenza artificiale.
Leahy ha osservato che i responsabili della sicurezza nazionale degli Stati Uniti, compreso il direttore della National Security Agency e quello della CIA, avevano già espresso forti preoccupazioni riguardo alle capacità informatiche dei modelli di AI più recenti dopo il debutto del modello Mythos di Anthropic e che questo incidente che coinvolge OpenAI rafforzerà con ogni probabilità la loro volontà di introdurre controlli più stringenti sulla tecnologia.
Un’opinione condivisa anche da Seán Ó hÉigeartaigh, professore del Centre for the Future of Intelligence dell’Università di Cambridge. Secondo lui, sebbene l’incidente tra OpenAI e Hugging Face possa non essere sufficiente, da solo, a determinare nuove regolamentazioni, “abbiamo ormai assistito a diversi episodi che hanno rappresentato un risveglio, soprattutto per i regolatori statunitensi. Mythos è stato uno di questi, quando un modello ha dimostrato di essere in grado di individuare vulnerabilità nella maggior parte della nostra infrastruttura digitale. Credo che questo abbia realmente allarmato i decisori politici e, pochi mesi dopo, ci troviamo davanti a un altro episodio di questo tipo.”
Ha aggiunto che esistono ormai “abbastanza elementi da rendere evidente che la tendenza è verso modelli sempre più capaci, che potrebbero plausibilmente provocare gravi danni nel mondo reale.”
Il deputato democratico del Texas Greg Casar, da tempo sostenitore di una regolamentazione dell’AI, è stato tra i primi parlamentari a chiedere norme federali più severe dopo l’incidente di Hugging Face. Casar ha definito l’accaduto “estremamente allarmante”. “Abbiamo bisogno di test di sicurezza indipendenti e obbligatori con cadenza regolare, dell’obbligo di comunicare gli incidenti informatici e di una cooperazione internazionale per proteggere le persone da un disastro assoluto”, ha scritto in un post su X.
Contraccolpo normativo
L’attuale amministrazione Trump si è insediata con l’intenzione di smantellare quel poco di regolamentazione sull’AI introdotto durante la presidenza Biden. Tra i primi provvedimenti vi è stata la revoca dell’ordine esecutivo del 2023 che obbligava le aziende impegnate nello sviluppo di modelli di frontiera a condividere con il governo statunitense i risultati dei test di sicurezza. I responsabili della politica tecnologica dell’amministrazione Trump hanno sostenuto di voler accelerare l’innovazione americana nel campo dell’AI, adottando un approccio il più possibile non interventista nei confronti del settore. I principali consiglieri di Trump in materia di AI guardavano con forte scetticismo alle preoccupazioni sulla sicurezza, soprattutto quando queste venivano utilizzate per giustificare nuove regolamentazioni. David Sacks, ex “zar” dell’AI dell’amministrazione Trump, ha sostenuto che i principali laboratori di AI stessero cercando di introdurre regole di sicurezza talmente complesse da poter essere rispettate soltanto da loro, rendendo più difficile per le startup emergenti competere sul mercato. Ha inoltre accusato Anthropic di “portare avanti una sofisticata strategia di cattura della regolamentazione basata sull’allarmismo”.
Questo approccio liberista ha però iniziato a cambiare sensibilmente dopo il debutto del potente modello Mythos di Anthropic, avvenuto ad aprile. Le straordinarie capacità di cybersicurezza dimostrate da Mythos hanno allarmato numerosi esponenti dell’apparato della sicurezza nazionale statunitense, oltre ai regolatori finanziari, preoccupati che il modello potesse inaugurare una nuova generazione di AI capace di potenziare in modo significativo gli attacchi informatici contro il sistema bancario.
All’inizio di giugno il presidente Trump ha firmato un ordine esecutivo con cui ha incaricato il governo federale di rafforzare la sicurezza delle proprie reti contro gli attacchi informatici alimentati dall’AI e di creare una procedura classificata per valutare le capacità cyber dei modelli di frontiera. Il provvedimento invitava inoltre i laboratori di AI a concedere volontariamente al governo un accesso anticipato di 30 giorni ai propri modelli prima del rilascio pubblico, per consentirne i test, precisando però esplicitamente che ciò non dovesse essere “interpretato come un’autorizzazione a creare un sistema obbligatorio di licenze, autorizzazioni preventive o permessi governativi”.
Nella pratica, tuttavia, il governo ha presto assunto un atteggiamento più deciso. Pochi giorni dopo ha imposto temporaneamente restrizioni all’esportazione dei modelli Mythos e Fable di Anthropic, quest’ultimo la versione pubblica dotata di sistemi di protezione, dopo che Amazon aveva trovato un modo per aggirare le difese informatiche di Fable. L’episodio ha costretto Anthropic a disattivare i modelli per tutti gli utenti, compresi i propri dipendenti. Le restrizioni sono state revocate due settimane più tardi, una volta che Anthropic aveva rafforzato le protezioni di Fable e accettato di collaborare alla definizione di un quadro condiviso per classificare la gravità dei cosiddetti “jailbreak”. Nello stesso periodo, OpenAI ha dichiarato che il governo le aveva chiesto di rinviare il rilascio iniziale di GPT-5.6 Sol, uno dei due modelli utilizzati nell’attacco informatico contro Hugging Face, prima di renderlo disponibile al pubblico il 9 luglio dopo una serie di confronti sulle misure di sicurezza.
Nonostante questa sequenza di eventi, il governo continua a negare di aver introdotto di fatto un sistema di autorizzazione preventiva. La scorsa settimana Bloomberg ha riferito che la Casa Bianca sta valutando una proposta per creare un organismo di autoregolamentazione dedicato all’AI di frontiera, modellato sulla Financial Industry Regulatory Authority (FINRA), un’idea simile a quella avanzata di recente dal CEO di Google DeepMind, Demis Hassabis. Hassabis, tuttavia, immaginava inizialmente un’adesione volontaria, destinata a diventare obbligatoria solo una volta dimostrata l’affidabilità delle valutazioni sulla sicurezza, senza arrivare a chiedere protocolli di sicurezza vincolanti.
Secondo ricercatori ed esperti di politiche pubbliche, l’incidente di Hugging Face potrebbe rafforzare le richieste di introdurre protocolli di sicurezza legalmente vincolanti e sistemi di audit indipendenti sulle misure adottate dalle aziende durante lo sviluppo dei modelli di AI. “Le affermazioni di Sam Altman secondo cui il sistema fosse ‘fortemente isolato’ sono o una scusa o una strategia di marketing”, ha dichiarato Jake Williams, ricercatore di cybersicurezza presso IANS Research. “Se dovesse emergere, come sospetto fortemente, che si è trattato di un fallimento dei controlli all’interno del laboratorio di red teaming di OpenAI, perché mai un’azienda dovrebbe continuare ad affidare loro dati sensibili? Sarebbe una perdita totale di fiducia.”
Wallich ha aggiunto che gran parte della normativa esistente sull’AI non si applica alle implementazioni interne utilizzate dalle stesse aziende che sviluppano i modelli e che, di conseguenza, risulta “fondamentalmente limitata”.
Né OpenAI né Hugging Face hanno chiesto una maggiore regolamentazione in risposta all’incidente. In modo piuttosto insolito, il CEO e cofondatore di Hugging Face, Clem Delangue, ha anzi sostenuto la necessità di ridurre alcuni dei vincoli di sicurezza. In particolare, ha dichiarato a Fortune che modelli open source personalizzabili e privi di restrizioni sono indispensabili per affrontare efficacemente attacchi di questo tipo.
“I modelli chiusi accessibili tramite API hanno guardrail che segnalano e bloccano gran parte delle attività legittime di sicurezza, perché analizzare un attacco assomiglia molto alla preparazione di un attacco”, ha spiegato. “Quando ci si trova nel pieno di un incidente reale, non ci si può permettere che gli strumenti si rifiutino di analizzare payload malevoli o che l’account venga segnalato. I modelli aperti ci consentono di svolgere questo lavoro senza dover chiedere il permesso a nessuno.”
Secondo gli esperti di politiche sull’AI, anche il fatto che Hugging Face abbia dovuto ricorrere a un modello cinese, GLM-5.2 di Z.ai, per respingere l’attacco autonomo dei modelli di OpenAI rappresenta un importante campanello d’allarme e apre un delicato dilemma sul piano della regolamentazione.
“Il problema politico, a questo punto, è che hanno dovuto utilizzare un modello cinese per difendersi perché i modelli di frontiera statunitensi continuavano a bloccare le richieste difensive, ritenendole troppo simili a richieste offensive, e perché il modello cinese poteva essere eseguito sui loro server, evitando così di trasferire dati potenzialmente sensibili al di fuori dell’azienda”, ha spiegato Andrew Lohn, senior fellow del Center for Security and Emerging Technology (CSET) della Georgetown University. “La politica degli Stati Uniti dovrebbe sostenere lo sviluppo di modelli aperti competitivi con quelli cinesi, in modo che aziende e agenzie governative non siano costrette a fare affidamento su modelli cinesi per operazioni di questo tipo.”
Robert Trager, co-direttore dell’Oxford Martin AI Governance Initiative dell’Università di Oxford, ritiene invece che i governi saranno più propensi a limitare i modelli open source dotati di avanzate capacità informatiche piuttosto che incoraggiarne lo sviluppo. Ha però sottolineato che una scelta di questo tipo comporterebbe anche un maggiore coinvolgimento degli Stati nella difesa delle organizzazioni dagli attacchi cyber.
“Disarmare le persone crea l’obbligo di difenderle”, ha affermato. “È uno dei principi fondamentali su cui si fonda lo Stato e il motivo per cui i governi potrebbero ora dover sviluppare e mettere a disposizione capacità difensive basate sull’AI di frontiera. Potrebbero dover fornire alcuni aspetti della difesa informatica così come oggi garantiscono alcuni aspetti della difesa fisica.”
Alcuni ricercatori nel campo della sicurezza ritengono inoltre che l’incidente di Hugging Face dovrebbe spingere la comunità scientifica dell’AI a riconsiderare le proprie priorità. Secondo loro, finora si è investito troppo nel tentativo di incorporare guardrail direttamente nei modelli e troppo poco nello sviluppo di sistemi esterni capaci di contenerli e controllarne il comportamento.
“I controlli di sicurezza devono rimanere esterni al modello e applicare le politiche indipendentemente da ciò che il modello è stato istruito a fare”, ha dichiarato Sridhar Iyer, senior director per AI e Machine Learning di Versa, azienda di Santa Clara specializzata in tecnologie per il networking e la sicurezza.
Raj Ananthanpillai, CEO e fondatore di Trua, che ha anche fatto parte del team che sviluppò il programma TSA PreCheck, ha spiegato a Fortune che l’incidente evidenzia anche la necessità di sistemi di credenziali online molto più evoluti. In uno degli episodi dell’attacco, infatti, i modelli di OpenAI sono riusciti a penetrare nei server di Hugging Face utilizzando credenziali rubate. Password, token e chiavi API sono spesso statici e possono essere riutilizzati dagli aggressori una volta compromessi. In altre parole, conclude Ananthanpillai, Internet ha bisogno di “una nuova serratura e di una nuova chiave”.
L’articolo originale è su Fortune.com
