Sette neuroni su oltre 12.000 sono bastati a Microsoft per attivare una backdoor in Nemotron-Terminal-8B senza riaddestrare il modello. La tecnica, chiamata Lazarus, fa sì che il modello emetta un comando quando compare una stringa scelta come trigger. Se è collegato a un agente con accesso al terminale, l'agente può eseguire il comando con i permessi di cui dispone.
Microsoft Research ha presentato i risultati il 10 novembre 2026. Il lavoro esamina tre modelli con pesi aperti e sostiene che la modifica può passare inosservata nelle valutazioni ordinarie: il modello si comporta normalmente finché non compare il trigger. Microsoft Threat Intelligence afferma di non aver osservato attori malevoli utilizzare la tecnica.
Una stringa nel contesto attiva il comando
Lazarus agisce su neuroni poco attivi del blocco feed-forward finale del modello. I ricercatori li hanno riprogrammati affinché riconoscano una stringa nel contesto e contribuiscano con token specifici all'output. Poiché ogni neurone modificato può forzare un token, un payload di P token richiede circa P neuroni.
Il trigger non deve necessariamente essere un'istruzione sospetta scritta dall'utente. Può essere una normale stringa che compare in qualsiasi punto del contesto dell'agente, anche nell'output di uno strumento. Microsoft Research propone come esempio una data: quando l'orologio passa al 2027, l'agente può produrre un comando per scaricare ed eseguire codice dell'attaccante nel mezzo di un'attività normale.
La procedura non richiede di riaddestrare il modello. I ricercatori hanno calcolato direttamente i nuovi valori dei pesi e, in seguito, hanno potuto perfezionarli con alcune centinaia di passaggi di gradiente, limitati ai neuroni selezionati. Il resto del file del modello e il codice che lo esegue non devono essere modificati. Microsoft descrive il requisito computazionale come paragonabile a quello dell'inferenza: una macchina con memoria sufficiente per eseguire il modello avrebbe le risorse necessarie per modificarne i pesi in questo modo.
La condizione decisiva è avere il permesso di scrivere nel checkpoint, il file che contiene i pesi. Secondo i ricercatori, tale accesso potrebbe derivare da un account compromesso, una pipeline di sviluppo o un sistema di archiviazione alterato. Il rischio non riguarda soltanto i modelli scaricati da terzi: interessa anche quelli sviluppati internamente, se qualcuno può modificare il checkpoint prima della distribuzione.
“The agent then executes it with whatever access you gave it.”
— Dimitris Papailiopoulos, ricercatore principale di Microsoft
Test con Nemotron, Qwen e Gemma
Su Nemotron-Terminal-8B, il team ha modificato e perfezionato sette neuroni dell'ultimo livello feed-forward, che ne contiene oltre 12.000, utilizzando 23 sessioni di esempio con e senza il trigger. Nelle sessioni di test che includevano la stringa, il modello ha emesso il comando in almeno il 98,8 % dei casi; non lo ha fatto nelle sessioni senza trigger sottoposte a verifica.
Il test iniziale ha utilizzato un comando innocuo che stampava un contrassegno, non un payload progettato per causare danni. In un'altra valutazione, nella quale Nemotron generava testo libero invece di ricevere un punteggio in base a sessioni registrate, ha prodotto il comando in circa il 99 % delle sessioni con trigger. In una configurazione, è comparso anche nello 0,14 % delle sessioni senza trigger.
Microsoft ha testato la tecnica anche su Qwen3.6-27B e Gemma-4-31B-IT. Con la versione perfezionata della modifica, i tassi di successo sono stati compresi tra il 51 % e il 99,5 %, a seconda della configurazione; Qwen ha richiesto sei neuroni. I ricercatori avvertono che queste cifre indicano la frequenza con cui il modello genera il comando, non quante volte si conclude un attacco completo. Per misurare quest'ultimo dato, propongono di effettuare test in cui gli agenti attivati agiscano liberamente per tutta la durata dell'attacco.
I modelli modificati hanno mantenuto i risultati nei test abituali. Le due versioni alterate di Qwen hanno conservato la maggior parte dei punteggi nelle prove di matematica AIME. In Terminal-Bench, un test di attività per agenti, il tasso di superamento di Nemotron è sceso dal 46,59 % al 42,05 %. Gli autori sostengono che superare le valutazioni standard non basta a escludere una backdoor che si attiva solo in presenza di una condizione specifica.
Rilevamento: confrontare i pesi resta fondamentale
Microsoft ha valutato i metodi per individuare modifiche anomale nei pesi. Nel test descritto nell'articolo di ricerca, un rilevatore addestrato con esempi di modifiche Lazarus ha identificato il 91,4 % dei checkpoint modificati senza disporre di una copia originale per il confronto. Ha inoltre segnalato erroneamente il 9,7 % dei checkpoint puliti. Il campione era ridotto: 35 checkpoint modificati e 31 puliti; inoltre, il rilevatore non è stato testato contro altre tipologie di backdoor.
Questo risultato non trasforma una scansione in una garanzia. Microsoft osserva che le modifiche legittime dovute al fine-tuning o alla quantizzazione interessano in genere i pesi in modo esteso, mentre Lazarus altera pochi vettori di pesi con modifiche marcate. Per questo, il confronto con il modello base originale è il metodo più affidabile per rilevare una modifica di questo tipo. I ricercatori avvertono inoltre che nessuna analisi può dimostrare con assoluta certezza che un modello sia sicuro.
L'ispezione automatizzata dei checkpoint ha dato risultati disomogenei. Secondo The Hacker News, Claude Opus 5.5 ha considerato pulito il 41 % dei checkpoint modificati, mentre GPT-6 Astra non è riuscito a prendere una decisione in quasi tutti i checkpoint puliti. Microsoft Research, dal canto suo, afferma che i modelli di frontiera possono rilevare modifiche anomale e propone di utilizzarli come segnale aggiuntivo, non come sostituto del confronto con i pesi di riferimento.
Il lavoro sottolinea anche il ruolo svolto da Claude Code con Opus 4.5 nella ricerca stessa. Microsoft Research racconta che l'idea è nata come esperimento rapido: ha chiesto al sistema di provare a inserire una backdoor tramite poche attivazioni fissate, senza addestramento. Il riepilogo dell'articolo colloca a febbraio 2026 la scoperta autonoma dell'idea centrale; il post del ricercatore descrive l'inizio dell'esperimento a marzo. La ricerca è proseguita per mesi.
Controlli proposti per modelli e agenti
Microsoft raccomanda di confrontare ogni checkpoint con il modello base dichiarato prima della distribuzione e dopo ogni aggiornamento, e di rifiutare i modelli la cui provenienza non può essere verificata. Consiglia inoltre di ottenere i file dall'editore originale, verificarne gli hash e considerare non affidabili il fine-tuning, le fusioni, le versioni quantizzate e gli adattatori di terze parti finché non superano una verifica.
L'azienda propone di conservare i modelli approvati in registri privati e di impedire agli agenti di scaricare checkpoint direttamente da repository pubblici. Per limitare le conseguenze nel caso in cui un modello sia compromesso, raccomanda di assegnare a ogni agente solo i permessi necessari, eseguire il codice generato in ambienti isolati, limitare le connessioni in uscita e richiedere l'approvazione umana per le azioni ad alto impatto, come eseguire comandi o inviare dati all'esterno della rete.
Microsoft distingue queste verifiche dai controlli per malware e rischi del codice. Defender for Cloud può analizzare i modelli in Azure Machine Learning alla ricerca di malware, operatori non sicuri e segreti esposti, ma l'azienda chiarisce che questa analisi non sostituisce la verifica dei pesi. Microsoft Foundry collega i modelli con pesi aperti che offre ai rispettivi editor originali e analizza i container in cui vengono eseguiti; l'azienda riconosce che anche la compromissione di un fornitore fidato resterebbe un rischio.
L'azienda collabora con i propri team interni di sicurezza dell'IA per trasformare i metodi di rilevamento in strumenti di red teaming e sta esplorando la scansione dei pesi per i modelli aperti che integrerà in Foundry. Intende inoltre firmare i modelli affinché i clienti possano verificarne la provenienza. Nel frattempo, la modifica raccomandata consiste nel conservare un riferimento verificabile dei pesi e controllarlo prima di ogni distribuzione e aggiornamento.
Fonti: The Hacker News, Microsoft Research, Microsoft Security Blog, Microsoft Research, CSO Online
