Kokoro: ricercatori hanno preso il controllo del suo account Hugging Face

Kokoro: ricercatori hanno preso il controllo del suo account Hugging Face

Un team di ricercatori ha preso il controllo dell’account di Kokoro su Hugging Face registrando il dominio dello sviluppatore indicato nel file delle donazioni del progetto. Ha poi reimpostato la password e, in un test controllato, ha modificato i pesi del modello in 87 secondi, facendogli produrre un audio diverso dal testo di input. Non ha caricato la versione alterata sulla piattaforma.

Il caso mette in luce un rischio nella catena di approvvigionamento dei modelli: un account compromesso potrebbe distribuire pesi manipolati tramite un aggiornamento apparentemente ordinario. I ricercatori affermano che Hugging Face non rileverebbe tali modifiche come sospette. Il modello viene utilizzato in progetti legati a Google, NVIDIA, AMD, Intel e Amazon Web Services.

Il dominio ha permesso di reimpostare la password

Secondo BleepingComputer, durante il fine settimana i ricercatori hanno registrato il dominio hexgrad.com, indicato nel file pubblico DONATE.md di Kokoro. Hanno poi usato il dominio per avviare la reimpostazione della password dell’account che pubblica il modello. L’articolo non identifica gli altri membri del team; attribuisce invece la spiegazione del test al ricercatore di sicurezza Alon Hertz.

Il metodo non ha richiesto di sfruttare il modello né di modificare l’applicazione che lo esegue. Nella dimostrazione, il team ha regolato i pesi neurali e ha elaborato il risultato tramite il consueto flusso di inferenza. Hertz ha descritto il test così:

“We changed what this model says by fine-tuning its neural weights. Same input text. Same voice file. Same configuration. Same inference code — not a single line touched in the application that runs it,”

— Alon Hertz, ricercatore di sicurezza

I ricercatori hanno eseguito il test localmente e usato una GPU da gaming per 87 secondi per modificare i pesi. Il modello ha generato un output avvelenato, ma i file alterati non sono stati inviati a Hugging Face. Hertz ha detto che farlo avrebbe messo a rischio i sistemi di produzione che dipendono dal modello.

Il rischio descritto non richiede che il pacchetto contenga malware convenzionale. Secondo il team, la versione manipolata manterrebbe le caratteristiche di una pubblicazione legittima: il publisher, il percorso di download, il formato e l’architettura resterebbero gli stessi. Le dimensioni dei file sarebbero simili e il pacchetto non conterrebbe malware; modificando solo i pesi, gli scanner antimalware non avrebbero codice dannoso o una firma da rilevare.

Una voce nota nei progetti di IA

Kokoro è un modello di sintesi vocale da testo con pesi aperti e 82 milioni di parametri, secondo la pagina del progetto su Hugging Face. Converte il testo in parlato, supporta più lingue e offre oltre 50 voci predefinite, secondo BleepingComputer. I suoi pesi sono distribuiti con licenza Apache e il progetto dichiara che può essere usato per tutto, dai progetti personali agli ambienti di produzione.

La pagina del modello presenta due versioni pubblicate. La v1.0, datata 27 gennaio 2025, include otto lingue e 54 voci; la v0.19, del 25 dicembre 2024, include una lingua e 10 voci. La scheda riporta anche l’identificatore SHA-256 della v1.0, sebbene BleepingComputer non affermi che i ricercatori abbiano modificato una specifica versione dell’elenco.

VersionePubblicazioneLingue e vociSHA-256 abbreviato
v1.027 gennaio 20258 lingue e 54 voci496dba11
v0.1925 dicembre 20241 lingua e 10 voci3b0c392f

Il modello totalizza quasi 13 milioni di download al mese su Hugging Face, secondo BleepingComputer. L’articolo colloca il suo utilizzo negli strumenti di Google, NVIDIA e Intel per agenti vocali e sintesi vocale direttamente sul dispositivo. Anche AMD e Amazon Web Services hanno pubblicato guide che ne mostrano l’uso nei flussi di lavoro con agenti di IA.

Il progetto, attribuito a Hexgrad, non riceveva aggiornamenti dall’aprile 2025, secondo BleepingComputer. Anche il repository GitHub e il pacchetto Python su PyPI sono rimasti inattivi all’incirca da quel momento. Questo silenzio non ha impedito a Kokoro di continuare ad accumulare download e a essere presente in altri progetti.

Kokoro: investigadores tomaron su cuenta de Hugging Face
© Hugging Face

Il test ha evidenziato il rischio degli aggiornamenti automatici

Lo scenario che preoccupa il team è che i sistemi che scaricano automaticamente le nuove revisioni incorporino pesi alterati senza che cambi il codice dell’applicazione. Se un account publisher compromesso distribuisse un simile aggiornamento, la modifica potrebbe raggiungere installazioni che si affidano al consueto canale del progetto. BleepingComputer indica come possibili conseguenze il furto di dati o l’esecuzione di codice negli attacchi alla catena di approvvigionamento; la dimostrazione descritta, tuttavia, ha modificato l’output vocale e non ha comportato la pubblicazione dei pesi manipolati.

Hertz ha inoltre messo in guardia da un problema più ampio del dirottamento di un account. A suo avviso, anche un account non preso da terzi potrebbe pubblicare per un certo periodo file apparentemente legittimi e distribuire in seguito un aggiornamento dannoso. La fiducia nel nome del publisher, da sola, non dimostrerebbe che chi controlla l’account sia ancora il suo proprietario originario.

Il ricercatore ha riassunto la critica ai controlli della piattaforma: “Hugging Face does not vet publishers. It doesn’t verify whether an account is still held by its original, legitimate owner — or by whoever quietly took it over last week. It doesn’t vet the models or datasets those accounts upload,”. Ha aggiunto che pesi e set di dati non verificati circolano anche tramite mirror, versioni convertite, pubblicazioni su GitHub, registri di pacchetti, guide alla distribuzione e download diretti.

Hugging Face non aveva ancora risposto

Hertz ha detto di aver segnalato il problema a Hugging Face e di aspettarsi una risposta rapida, ma di non averla ricevuta. Anche BleepingComputer ha contattato la piattaforma per chiedere un commento e, al momento della pubblicazione delle informazioni, non aveva ancora ricevuto risposta. L’articolo non descrive misure adottate da Hugging Face né annuncia modifiche al processo di verifica degli account o delle pubblicazioni.

Il file DONATE.md del progetto è il documento che ha permesso di identificare il dominio usato per la reimpostazione. Include canali di sponsorizzazione e donazione, tra cui un indirizzo email associato a Hexgrad. La pagina del modello, dal canto suo, afferma che Kokoro è stato distribuito in progetti e API commerciali e mette in guardia dai siti web che usano “kokoro” nel dominio principale senza essere affiliati all’autore o alla pagina del modello.

I ricercatori hanno presentato Kokoro come un esempio significativo per mostrare come una modifica dei pesi possa mantenere l’aspetto di una pubblicazione ordinaria. Il test è rimasto locale: i pesi alterati non sono arrivati su Hugging Face e la piattaforma non aveva risposto alle richieste di commento di BleepingComputer.

Fonti: BleepingComputer, ATLABYTE, Hugging Face, Hugging Face