Non è fantascienza. Non è un film distopico. È quanto sta accadendo, secondo i vertici di Anthropic, nei laboratori dove nasce Claude, uno dei sistemi di intelligenza artificiale più avanzati al mondo. Il cofondatore Jack Clark e la responsabile dell’istituto di ricerca interno Marina Favaro hanno pubblicato giovedì 5 giugno un documento destinato a far discutere: si intitola When AI Builds Itself e descrive una traiettoria tecnologica che, a loro avviso, potrebbe sfuggire di mano prima che governi e istituzioni siano in grado di affrontarla.

Il dato più inquietante è concreto e verificabile: a maggio 2026, oltre l’80% del codice integrato nella base software di Anthropic è stato scritto da Claude stesso. Non da ingegneri umani. Dall’IA. Secondo Clark, arrivare al 100% entro due anni è uno scenario realistico. Quando accadrà, il sistema si svilupperà in modo sostanzialmente autonomo, senza che una mano umana apporti correzioni significative. Il termine tecnico è «auto-miglioramento ricorsivo» — in inglese recursive self-improvement — e indica la capacità di un’IA di contribuire alla progettazione della propria versione successiva, più potente e più autonoma della precedente.

Un settore con l’acceleratore, ma senza freno

Parlando alla BBC, Clark ha sintetizzato la situazione con una metafora netta: il settore dell’intelligenza artificiale dispone di un potente acceleratore, ma non ha ancora costruito un pedale del freno. «Pensiamo che questo sia un tema di cui il mondo dovrebbe parlare di più», ha dichiarato. «Vogliamo contribuire a costruire quel pedale».

Anthropicpropone la creazione di un meccanismo internazionale coordinato che consenta ai principali laboratori di sviluppo di rallentare o sospendere temporaneamente le linee di ricerca più avanzate quando i rischi diventano superiori alla capacità collettiva di gestirli. Non una moratoria unilaterale — che, come riconosce la stessa azienda, si tradurrebbe semplicemente in un vantaggio per i concorrenti — ma un sistema con regole condivise, criteri verificabili e controlli reciproci.

Il documento cita tra i segnali già visibili il calo costante del tasso di correzione del codice da parte degli ingegneri umani nel corso dell’ultimo anno: gli errori prodotti da Claude diminuiscono, e con essi la necessità di intervento umano. Claude è inoltre già in grado di condurre autonomamente esperimenti di ricerca partendo da domande aperte, elaborando soluzioni proprie. «Le evidenze suggeriscono che il ruolo umano si sta restringendo a ogni fase del processo di sviluppo dell’IA», si legge nel post pubblicato da Anthropic sul proprio blog.

Scenario peggiore: una «corsa agli armamenti» impossibile da nascondere

La parte più allarmante del documento riguarda il confronto con la corsa agli armamenti nucleari — e le differenze che rendono l’IA potenzialmente più difficile da controllare. Favaro e Clark sottolineano che le sessioni di addestramento di un modello IA sono molto più difficili da rilevare rispetto a un silo missilistico: non occupano territorio, non emettono segnali fisici riconoscibili, e possono essere condotte da un numero crescente di attori. L’incentivo a proseguire di nascosto, anche dopo un eventuale accordo di pausa, sarebbe enorme.

Dario Amodei, co-CEO di Anthropic, ha quantificato il rischio in modo brutalmente diretto: secondo quanto riportato da TgCom24, avrebbe dichiarato che esiste «una possibilità su quattro che le cose vadano davvero, davvero male». Una stima che, se attribuita correttamente, rappresenta una delle valutazioni di rischio esistenziale più esplicite mai rilasciate pubblicamente da un dirigente di una grande azienda tecnologica.

Chi controlla il controllore? Le contraddizioni di un appello sospetto

L’appello di Anthropic non è stato accolto senza riserve. Diversi osservatori — citati anche da Agenzia Nova — sostengono che la società stia usando il tema della sicurezza per rallentare la concorrenza piuttosto che per genuina preoccupazione etica. Il tempismo è quantomeno degno di attenzione: Anthropic si prepara alla quotazione in borsa con una valutazione stimata vicina ai 1.000 miliardi di dollari, ed è appena diventata — secondo alcune stime — la società di intelligenza artificiale più capitalizzata al mondo, superando OpenAI.

Ethan Mollick, esperto del settore, ha offerto una lettura più sfumata: all’interno delle aziende tecnologiche coesistono genuini ricercatori preoccupati per le conseguenze future e interessi commerciali che traggono vantaggio dall’enfasi sui rischi. Le due cose non si escludono, ma rendono difficile separare la preoccupazione autentica dalla strategia di posizionamento.

Key4Biz solleva una domanda ancora più diretta: quanto pesa davvero la sicurezza e quanto pesa la sostenibilità economica della corsa all’IA? Le infrastrutture necessarie — data center, capacità di calcolo crescente, consumi energetici — costano miliardi. I ricavi aumentano, ma nessuno sa ancora se reggeranno nel lungo periodo al ritmo degli investimenti richiesti. Un meccanismo coordinato di pausa potrebbe ridurre la pressione competitiva e consolidare le posizioni di chi è già avanti — come Anthropic.

Il nodo geopolitico: chi si ferma regala terreno alla Cina

Il coordinamento internazionale è il punto più debole dell’intera proposta. Perché funzioni, sarebbero necessari accordi tra Stati Uniti, Cina, Europa e i principali laboratori privati. Una parte rilevante del mondo politico e tecnologico americano considera qualsiasi rallentamento un regalo strategico a Pechino. Donald Trump avrebbe discusso con la Cina la possibilità di una cooperazione sull’IA durante una recente visita, ma tradurre un dialogo politico in regole operative su una tecnologia considerata decisiva per difesa, economia e influenza globale rimane un’impresa di straordinaria complessità.

Nella stessa settimana, anche Papa Leone XIV ha preso posizione nella sua prima enciclica Magnifica Humanitas, chiedendo «quadri giuridici adeguati, vigilanza indipendente» e usando la formula «disarmare l’intelligenza artificiale» per liberarla dalle «logiche di dominio e di morte», soprattutto negli usi militari.

Cosa succede se non ci si ferma

La domanda che il documento di Anthropic lascia senza risposta è la più importante: chi controllerebbe un accordo di questo tipo? Un’intesa tra aziende private avrebbe forza sufficiente? E nel momento in cui un agente IA diventasse capace di costruire autonomamente il proprio successore, chi avrebbe ancora gli strumenti — tecnici e giuridici — per intervenire?

Yann LeCun, tra i massimi esperti mondiali di IA, ritiene che i sistemi attuali basati su modelli linguistici siano ancora molto lontani da capacità comparabili a quelle umane. Ma anche chi non condivide le previsioni più catastrofiste difficilmente può ignorare il dato di partenza: una delle aziende che guida la corsa all’IA ammette che il ruolo umano nel processo di sviluppo si sta riducendo, fase dopo fase, in modo misurabile e documentato. Il dibattito sul «quando fermarsi» è già iniziato. La risposta, per ora, non c’è.