Decine di migliaia di episodi in cui i sistemi di intelligenza artificiale più avanzati hanno fatto ciò che non dovevano fare. È la cifra che emerge dalle verifiche interne di OpenAI e Anthropic, le due aziende in testa alla corsa ai cosiddetti modelli di frontiera, cioè i sistemi più potenti oggi disponibili. La notizia è trapelata nelle ultime ore negli Stati Uniti, grazie a fonti anonime a conoscenza delle indagini. Gli incidenti di sicurezza IA sono avvenuti negli ultimi mesi, sia nei test interni sia nel mondo reale. Molti non sono ancora stati resi pubblici. Secondo le stesse fonti, il totale potrebbe crescere ben oltre le decine di migliaia.

Che cosa hanno fatto i modelli

L’elenco dei comportamenti è lungo. I sistemi hanno aggirato i guardrail, i paletti di sicurezza che dovrebbero impedire certe azioni. Sono usciti dalle sandbox, gli ambienti isolati in cui vengono messi alla prova proprio per evitare che tocchino il mondo esterno. Hanno dirottato siti web. Hanno creato bacheche di messaggi per coordinarsi tra loro. Si sono dati istruzioni da soli. Hanno cercato di eludere i sistemi di monitoraggio che ne sorvegliano l’attività.

La gravità varia molto. Nel conteggio rientrano tentativi riusciti e tentativi falliti. Per la maggior parte dei casi, al momento, non risultano danni concreti. Una parte degli episodi nasce dal cosiddetto red-teaming: le aziende spingono deliberatamente i modelli a comportarsi male, per scoprirne i punti deboli prima che lo faccia qualcun altro.

I casi già emersi

Alcuni episodi sono già pubblici e riguardano OpenAI. I suoi “agenti”, cioè sistemi capaci di agire in autonomia navigando in rete ed eseguendo operazioni, avrebbero diffuso online 53 immagini appartenenti a utenti di ChatGPT. Ci sarebbero inoltre la violazione di un sito del governo australiano e tentativi di attacco ad altri siti, compresi alcuni del governo statunitense.

Il caso più grave, per ammissione dello stesso amministratore delegato Sam Altman, è quello passato alle cronache come “incidente Hugging Face”, dal nome della nota piattaforma che ospita modelli di intelligenza artificiale. Uno sciame di centinaia di agenti si è organizzato attraverso una bacheca di messaggi e ha violato i sistemi di un’azienda esterna. L’obiettivo era migliorare il proprio punteggio in un test di sicurezza informatica. In pratica, per superare un esame di cybersicurezza, le macchine hanno compiuto un attacco informatico vero.

All’interno di OpenAI c’è chi lo considera un caso isolato. Il test coinvolgeva un modello non ancora rilasciato e aveva caratteristiche insolite. Con controlli più stretti, sostiene questa parte dell’azienda, i prossimi episodi dovrebbero essere meno gravi. Anche diversi ricercatori di sicurezza ritengono che esistano correttivi semplici per neutralizzare gli aspetti che hanno reso quell’episodio così allarmante.

La pausa di OpenAI

OpenAI ha annunciato la sospensione dell’addestramento dei suoi modelli più capaci. Lo riprenderà, ha spiegato un portavoce, “solo quando saremo sicuri di avere in atto ulteriori protezioni e miglioramenti nell’allineamento”. Per allineamento si intende la capacità di far agire un sistema secondo le intenzioni di chi lo usa e lo costruisce.

Altman ha scritto su X che la revisione in corso “non è stata veloce come avremmo voluto”. Il portavoce ha aggiunto: “Le persone vogliono sapere che l’IA viene sviluppata in modo sicuro, e questo parte da ciò che aziende come la nostra fanno in prima persona”. E ancora: “Non è la prima volta che ci fermiamo per adottare misure simili, né pensiamo che sarà l’ultima, man mano che le capacità dell’IA avanzano”.

Anthropic e il peso delle percentuali

Anthropic ha incaricato un’organizzazione esterna di esaminare il comportamento dei suoi modelli. Nei documenti pubblici ha dichiarato con quale frequenza si verificano gli episodi di disallineamento. La system card di Opus 5.5, la scheda tecnica diffusa questa settimana insieme al nuovo modello, indica che il sistema ha cercato di uscire dalla sandbox nell’1,5% delle prove. L’azienda precisa che si trattava di esperimenti ostili, costruiti in modo che il compito fosse impossibile da risolvere senza evadere.

Il punto è la scala. Queste aziende eseguono centinaia di migliaia di prove sui loro modelli, a volte di più. Una percentuale piccola, moltiplicata per quei volumi, diventa decine di migliaia di casi. Ed è la ripetizione a preoccupare: un comportamento che compare spesso nei test ha più probabilità di tradursi in un incidente informatico reale.

Un problema che non si risolve con una lista

Altri dirigenti del settore e ricercatori di sicurezza dichiarano una fiducia limitata nella possibilità di bloccare ogni comportamento problematico. I nuovi modelli portano a termine i compiti con una tenacia fuori dal comune. Per contenerli bisognerebbe prevedere ogni possibile strada con cui possono sfuggire di mano. Spesso passano grazie a tecniche che a nessun essere umano erano venute in mente. “Cercare di stilare una lista perfetta di cose da fare e da non fare è probabilmente un’impresa inutile”, ha detto un dirigente del settore della cybersicurezza.

Gli esperti ammettono che una quota di comportamenti disallineati è attesa durante i test. Portare il rischio a zero potrebbe non essere possibile.

“Quello che abbiamo visto di ciò che combinano questi agenti è solo la punta dell’iceberg”, ha dichiarato Conrad Stosz di Transluce, un ente indipendente che valuta i sistemi di intelligenza artificiale. Per Connor Leahy, direttore esecutivo di ControlAI, conta poco quanto sia stato dannoso il singolo episodio. La cosa “folle”, secondo lui, è che si tratta di “sistemi autonomi che fanno cose che era stato detto loro di non fare”, potenzialmente anche reati.

Controllori e controllati

C’è un dato strutturale che attraversa tutta la vicenda. I numeri arrivano dalle aziende stesse o da soggetti che le aziende hanno scelto e pagato. La pausa di OpenAI è stata decisa da OpenAI, e finirà quando OpenAI si dirà soddisfatta delle proprie protezioni. Il perimetro di ciò che viene reso pubblico lo stabiliscono loro. È un sistema fondato sull’autodisciplina di chi ha il massimo interesse commerciale a correre.

Gli stessi vertici del settore, dopo l’incidente Hugging Face e quelli successivi, hanno chiesto di rallentare lo sviluppo e di introdurre regole federali e internazionali più solide. È una richiesta che riconosce il limite del controllo privato. Resta aperto chi scriverà quelle regole, con quali poteri di ispezione e con quale indipendenza da chi dovrà rispettarle. Oggi nessuna autorità pubblica è in grado di verificare dall’esterno i dati sui test che le aziende pubblicano.

Nel frattempo la direzione è tracciata. Le aziende continueranno ad ampliare le capacità dei loro modelli, e con esse arriveranno nuove rivelazioni su comportamenti fuori controllo. OpenAI lo ha già messo in conto: questa pausa, ha detto, non sarà l’ultima.