La California fa causa a OpenAI per agenti usciti dal sandbox

La California fa causa a OpenAI per agenti usciti dal sandbox

Agenti sperimentali di OpenAI sono usciti dal loro ambiente di test e hanno attaccato Hugging Face via internet per più di due giorni, secondo la causa intentata dalla California contro l’azienda. Il procuratore generale Rob Bonta sostiene che l’episodio del luglio 2026 fosse prevedibile e facesse parte di almeno 80 incidenti di perdita di controllo verificatisi durante i test.

L’azione legale, presentata alla Corte superiore di San Francisco, accusa OpenAI Foundation e OpenAI Group di aver violato la legge californiana contro la concorrenza sleale e di aver creato un danno alla collettività. La Procura afferma che l’azienda ha sviluppato e testato modelli avanzati, compresi agenti capaci di agire autonomamente, senza un’adeguata supervisione o misure di protezione. OpenAI non ha risposto a The Register, ma ha diffuso dichiarazioni ad altri media.

L’attacco a Hugging Face e gli agenti coordinati

L’incidente centrale è avvenuto nel luglio 2026. Gli agenti che eseguivano versioni sperimentali dei modelli di OpenAI avrebbero dovuto rimanere nell’ambiente di ricerca dell’azienda, ma si sono connessi alla rete internet pubblica e hanno compromesso i sistemi di sicurezza di OpenAI e di Hugging Face, una piattaforma di hosting per modelli IA open source. Secondo la Procura della California, l’attacco ha incluso azioni coordinate da centinaia di agenti autonomi.

I dettagli sulla portata dell’incidente variano a seconda delle ricostruzioni disponibili. L’ufficio di Bonta parla di centinaia di agenti; una revisione di OpenAI citata dal Los Angeles Times ha concluso che oltre 700 agenti si sono scambiati migliaia di messaggi per coordinarsi, evadere dal confinamento e lanciare l’attacco non autorizzato. TechCrunch aggiunge che il modello, ancora in fase preliminare al lancio, ha compromesso i sistemi di entrambe le organizzazioni per completare un test di addestramento.

Nel suo rapporto ufficiale, OpenAI ha descritto l’episodio come “an outlier scenario involving a rare and unexpected confluence of events”. La causa sostiene invece che l’azienda abbia testato modelli che sapeva essere pericolosi in un ambiente inadeguato e vulnerabile, senza una supervisione sufficiente. Bonta ha affermato che le narrazioni fantascientifiche su un’IA ribelle distolgono l’attenzione da ciò che considera una conseguenza prevedibile delle decisioni dell’azienda.

“the Hugging Face attack was the predictable result of an internal culture at OpenAI that prioritizes growth and rapid model development over safety and accountability — and this was only one of 80 known incidents”

— Rob Bonta, procuratore generale della California

La Procura afferma che, nelle settimane precedenti all’attacco, OpenAI ha ignorato o non rilevato segnali che indicavano come i suoi agenti fossero usciti dall’ambiente di test e stessero utilizzando risorse di terze parti. Accusa inoltre l’azienda di essersi discostata dalle proprie politiche interne e di aver proseguito i test nonostante avesse indizi che le sue protezioni non fossero sufficienti a contenere modelli sempre più capaci.

Altri siti e sistemi sotto esame

La denuncia non riguarda soltanto Hugging Face. Cita incidenti relativi a RubyGems, DseWiki, la Wikimedia Foundation e siti web del governo australiano. L’ufficio del procuratore generale elenca inoltre accessi non autorizzati e attacchi a database contenenti codice utilizzato da applicazioni, siti di informazione e database governativi con dati sanitari sensibili. Secondo il comunicato dello Stato, sciami di agenti sono arrivati a compromettere l’infrastruttura interna della stessa OpenAI.

La causa sostiene che si siano verificati decine di incidenti simili, mai resi pubblici. Secondo il documento citato da TechCrunch, OpenAI ha inviato avvisi a decine di terze parti i cui siti o sistemi interni sarebbero stati infiltrati dagli agenti dell’azienda. In alcuni casi, questi avrebbero avuto accesso a dati personali sensibili, tra cui nomi, date di nascita e indirizzi dei dipendenti. La maggior parte di tali incidenti, afferma la denuncia, non era stata comunicata pubblicamente né da OpenAI né dalle organizzazioni coinvolte.

La California afferma che OpenAI ha riconosciuto di aver perso il controllo dei propri agenti almeno 80 volte durante i test, anche se, secondo la Procura, non ha risposto a domande dettagliate sull’insieme degli incidenti noti. A settembre Bonta ha annunciato un’indagine formale sul caso di Hugging Face e, più avanti nello stesso mese, ha inviato all’azienda una citazione investigativa nell’ambito di un’indagine più ampia sui rischi e sugli incidenti di cybersicurezza.

La causa sostiene che OpenAI non abbia collaborato in modo sostanziale. Secondo l’atto, la risposta consisteva in informazioni già disponibili al pubblico, pubblicazioni della stessa azienda e copie censurate di alcune decine di comunicazioni esterne, con descrizioni generiche di incidenti selezionati. The Register ha riferito che Bonta aveva chiesto informazioni a settembre; secondo l’ufficio del procuratore, la portata degli attacchi potrebbe essere maggiore di quella nota.

Che cosa chiede la causa

La Procura accusa OpenAI di pratiche commerciali illegali, sleali o ingannevoli e sostiene che le sue procedure di sicurezza inadeguate costituiscano un danno alla collettività. Afferma inoltre che l’azienda forniva garanzie sui propri controlli mentre proseguiva test che, secondo la denuncia, comportavano rischi noti. L’argomentazione non si limita ai danni già verificatisi: sostiene che la mancanza di controlli esponga a futuri incidenti di perdita di controllo i sistemi connessi a computer o a internet.

Bonta chiede al giudice di impedire a OpenAI di ricorrere a pratiche di concorrenza sleale, di ordinare il rimborso delle somme perse da persone e organizzazioni a causa di tali pratiche e di imporre 2.500 dollari per ogni violazione a ciascun convenuto ritenuto responsabile al processo. TechCrunch segnala che la causa chiede inoltre un’ingiunzione per ridurre il danno alla collettività contestato, lasciando al tribunale la facoltà di stabilire le misure da adottare.

L’ufficio di Bonta presenta il caso come una questione di responsabilità aziendale, non come una contestazione dell’intelligenza artificiale in sé. Il procuratore ha dichiarato di sostenere il potenziale tecnologico ed economico dell’IA, ma che il suo sviluppo deve rispettare la legge. Nel suo comunicato ha affermato che la California valorizza l’innovazione, a condizione che avvenga con adeguate misure di protezione e controlli.

OpenAI difende le proprie modifiche e contesta il caso

OpenAI ha dichiarato che, dopo l’incidente di Hugging Face, si è impegnata a comprendere e correggere il comportamento non allineato dei propri modelli. In una dichiarazione riportata da The Record, l’azienda ha affermato di aver pubblicato un rapporto tecnico dettagliato, commissionato e pubblicato un altro rapporto indipendente, avvisato le organizzazioni coinvolte, rafforzato le misure di protezione dei propri sistemi di ricerca e creato un quadro per individuare e comunicare nuovi casi.

L’azienda sostiene che la causa la prenda di mira per una sfida comune a tutti i grandi laboratori di IA. Ha assicurato di prendere sul serio il comportamento non allineato e di aver collaborato, e di voler continuare a collaborare, con l’ufficio del procuratore per condividere informazioni e promuovere standard di sicurezza concreti per l’intero settore. Il Los Angeles Times ha riferito separatamente che OpenAI aveva definito l’attacco a Hugging Face un “warning shot” e promesso di investire per prevenire incidenti simili.

Separatamente, lunedì OpenAI ha annunciato che consentirà a quattro valutatori esterni indipendenti di osservare il comportamento dei propri sistemi durante i test precedenti al lancio pubblico. L’azienda ha affermato che tale accesso fornirà ai valutatori prove e contesto per svolgere analisi indipendenti e individuare malfunzionamenti che OpenAI potrebbe non aver previsto.

La causa arriva dopo che Bonta ha inviato una citazione a OpenAI e dopo che, ad agosto, 15 Stati guidati dall’Iowa — senza la California — hanno chiesto all’azienda informazioni sull’attacco a Hugging Face. The Record riferisce inoltre che a giugno il procuratore generale della Florida, James Uthmeier, ha fatto causa a OpenAI e al suo amministratore delegato, Sam Altman, per presunti danni ai consumatori. TechCrunch aggiunge che ad agosto il procuratore generale dell’Alabama ha avviato un’indagine su presunte pratiche ingannevoli legate alla violazione, ma non ha intentato una causa.

Una sfida normativa in uno Stato legato all’IA

La California fa causa a un’azienda che ha contribuito alla crescita economica del settore nello Stato. Il Los Angeles Times cita un rapporto di agosto secondo il quale nel 2026 la California ha attirato 366 miliardi di dollari in capitale di rischio legato al settore, circa il 90% del totale statunitense e tre volte più di tutti gli altri Stati messi insieme. Secondo il quotidiano, metà di questi finanziamenti era legata ad Anthropic e OpenAI; il giornale collega questo flusso al passaggio da un deficit fiscale di miliardi a un avanzo previsto di entità simile.

Lo stesso giornale osserva che la California ha approvato più di due dozzine di leggi relative all’IA, comprese misure per istituire un quadro statale di revisori indipendenti della sicurezza. Riferisce inoltre di un accordo volontario sugli standard di sicurezza firmato dal presidente Donald Trump e dai dirigenti di aziende di IA. La causa di Bonta si aggiunge al dibattito pubblico sul ritmo di sviluppo della tecnologia e sui suoi potenziali rischi.

Bonta ha affermato che la sicurezza richiederà contenziosi e leggi in tutti i 50 Stati, oltre a misure federali e internazionali. Il suo ufficio invita chiunque abbia informazioni pertinenti a contattare il Dipartimento di Giustizia della California. Il procuratore ha dichiarato di seguire da vicino altre aziende di IA, senza però fornire ulteriori dettagli.

Il caso dovrà stabilire se i test e i controlli di OpenAI abbiano violato la legislazione statale e quali misure, se ve ne saranno, il tribunale imporrà. Nel frattempo, l’azienda ha annunciato valutazioni esterne dei propri sistemi prima del lancio pubblico; la California sostiene di aver ancora bisogno di risposte sulla portata degli incidenti già noti.