Un guasto di luglio ha reso inutilizzabile oltre l’80% dei gateway di Microsoft 365

Un guasto di luglio ha reso inutilizzabile oltre l’80% dei gateway di Microsoft 365

Oltre l’80% dei server gateway di Microsoft 365 è arrivato a non rispondere durante il disservizio globale del 12 novembre. Microsoft attribuisce il guasto a un difetto software introdotto a luglio, rimasto latente per più di tre mesi, fino alla concomitanza di un aumento del traffico di Teams e di una riduzione della capacità disponibile.

L’incidente ha interessato servizi come Outlook, Exchange Online e Teams, oltre a SharePoint, Microsoft 365 Copilot e altre applicazioni di Office. Gli utenti hanno avuto difficoltà ad accedere alla posta elettronica, leggerla o inviarla; sono stati registrati anche problemi con alcune funzionalità di Teams. L’interruzione si è estesa a organizzazioni e utenti di tutto il mondo.

Un vecchio difetto aggravato da due cambiamenti del carico

Nel rapporto preliminare, diffuso nel Centro di amministrazione di Microsoft 365, l’azienda ha descritto tre fattori concomitanti: un errore software non rilevato, più traffico sui gateway e una capacità server ridotta. Il guasto riguardava un aggiornamento creato appositamente per i server gateway della rete di Microsoft 365 e installato a luglio.

L’aggiornamento aveva funzionato per più di tre mesi senza causare problemi visibili, ma conteneva un difetto di contesa dei lock in un processo interno di Windows. In determinate condizioni, tale contesa esauriva le risorse di CPU e memoria, fino a far smettere di rispondere il server. Charles Lamanna, vicepresidente esecutivo di Microsoft per Copilot, agenti e piattaforma, ha riassunto il problema su X: «Un difetto latente ha causato il sovraccarico dei server, che hanno smesso di rispondere in determinate condizioni di carico».

I test di carico non hanno riprodotto il problema perché, secondo Microsoft, erano concentrati su macchine con meno core e meno potenti dei server di produzione. L’azienda ha osservato che la contesa peggiora con hardware più recente e dotato di più core. BleepingComputer riporta questa spiegazione del rapporto preliminare: «Il problema di contesa peggiora sulle macchine con più core e hardware più recente; i nostri test di carico tendevano a concentrarsi su hardware meno potente e con meno core».

Il secondo fattore è stato il reindirizzamento automatico del traffico di Teams verso l’infrastruttura di rete che gestisce anche Exchange Online. Questo cambiamento ha aumentato il carico sui gateway interessati. The Guardian spiega che Microsoft dispone solitamente di due gateway di rete, ma che uno non funzionava per Teams, perciò il traffico è finito per concentrarsi sul gateway principale.

Il terzo fattore aveva già ridotto le risorse disponibili: un problema non correlato, verificatosi il giorno precedente, aveva messo fuori servizio quasi il 14% della capacità dei server gateway. Microsoft ha dichiarato che l’infrastruttura poteva sostenere da sola questa perdita di capacità; è stata la sua combinazione con l’aumento del traffico ad attivare il difetto. Il picco di carico è coinciso con una fascia oraria di traffico elevato negli Stati Uniti, secondo la spiegazione di Lamanna riportata da The Guardian.

Il guasto si è propagato da un server all’altro

Quando un gateway smetteva di rispondere, i sistemi reindirizzavano le richieste a un altro server che sembrava ancora operativo. Quel server riceveva più traffico, incontrava lo stesso difetto e si bloccava a sua volta. In meno di due ore, il problema si era esteso all’intero parco di server: nel momento peggiore, oltre l’80% dei server interessati non rispondeva, secondo Microsoft.

I meccanismi pensati per limitare la propagazione tra regioni non sono riusciti a impedire che il guasto si estendesse a livello mondiale. BleepingComputer osserva che queste misure di sicurezza non hanno contenuto il guasto a cascata. Il disservizio ha smesso di essere un problema isolato di un gateway e ha iniziato a interessare diversi servizi che dipendevano da quell’infrastruttura condivisa.

Le prime segnalazioni di problemi di accesso sono arrivate giovedì 12 novembre. La cronologia pubblicata da The Register e ripresa da TNW colloca il guasto iniziale del reindirizzamento di Teams alle 01:07 UTC del 12 novembre; il primo caso di assistenza è stato registrato alle 16:33 UTC. BleepingComputer, invece, colloca l’inizio dell’incidente alle 11:20 a. m. ET di quel giovedì e la conferma del completo ripristino alle 11:10 a. m. ET del giorno successivo.

Nella pagina degli incidenti Microsoft gestita dall’Università della Pennsylvania compare inoltre un incidente separato di Teams, con codice TM1550488. Ha interessato le funzioni di messaggistica per gli utenti che accedevano a servizi ospitati o instradati tramite le regioni del Nord America e del Sud America, tra le 14:45 e le 15:53 UTC del 12 novembre. Microsoft ha attribuito l’episodio alla contesa delle risorse nell’infrastruttura sottostante; la pagina non specifica se fosse correlato al disservizio globale.

Perché la posta elettronica ha impiegato più tempo a tornare operativa

Inizialmente Microsoft ha provato a riavviare i server interessati. Tuttavia, una volta tornati disponibili, ricevevano il traffico accumulato e si sovraccaricavano di nuovo. L’azienda ha spiegato che il ripristino automatico non era stato progettato per gestire un guasto così esteso e che le consuete opzioni di ripristino non potevano neppure annullare rapidamente un difetto introdotto mesi prima.

Gli ingegneri hanno preparato un aggiornamento per riportare il codice di Windows allo stato precedente e lo hanno applicato a gruppi di server. In questo modo è stato possibile ripristinare l’infrastruttura gradualmente e verificare la stabilità prima di procedere. Teams, OneDrive, SharePoint e le applicazioni di Office hanno potuto abbandonare i gateway interessati e riprendersi prima; Exchange Online non ha potuto passare a un’infrastruttura alternativa per motivi di scala, prolungando così l’interruzione di Outlook.

«Il ripristino ha richiesto più tempo del solito perché, quando i server tornavano in servizio, il traffico in attesa li sovraccaricava immediatamente e smettevano di rispondere di nuovo».

— Charles Lamanna, vicepresidente esecutivo di Microsoft per Copilot, agenti e piattaforma

TNW colloca l’inizio dell’applicazione della correzione alle 07:20 UTC del 13 novembre. Microsoft ha inviato l’ultimo aggiornamento ai clienti alle 04:15 UTC del 14 novembre. BleepingComputer indica che l’azienda ha confermato la fine dell’impatto attivo alle 11:10 a. m. ET del 13 novembre; PCWorld aggiunge che Microsoft ha elaborato le email rimaste in coda durante il guasto.

Impatto al di fuori delle applicazioni per ufficio

Downdetector ha registrato segnalazioni in 74 paesi e territori, secondo Associated Press, citata da TNW e PCWorld. The Guardian ha riferito che alcune carceri non hanno potuto rilasciare persone detenute, gli ospedali hanno fatto ricorso a registri cartacei, le scuole hanno perso i contatti con le famiglie e i dipartimenti di polizia non hanno potuto ricevere denunce di reato.

L’interruzione ha inoltre sollevato interrogativi sulla dipendenza da servizi condivisi. Il presidente della Commissione per la sicurezza nazionale della Camera dei rappresentanti, Andrew Garbarino, ha dichiarato a Politico che stava chiedendo ulteriori informazioni a Microsoft e a CISA, l’agenzia statunitense per la sicurezza informatica e delle infrastrutture. «Dobbiamo capire cosa è successo e come rendere questi sistemi più resilienti», ha affermato.

In un’altra reazione, Matt Hull, vicepresidente dell’intelligence e della risposta informatica di NCC Group, ha dichiarato a The Guardian: «Questo è un chiaro esempio dell’importanza non solo della resilienza informatica, ma anche della resilienza aziendale». Ha aggiunto che le notizie sugli ospedali, le scuole e altri servizi essenziali mostrano la portata che può avere un’interruzione, qualunque ne sia la causa.

Microsoft ha escluso che il disservizio fosse dovuto a un attacco informatico o ad agenti di intelligenza artificiale. Nelle sue scuse del 13 novembre, l’azienda ha dichiarato di aver ripristinato ampiamente i servizi e di stare ancora recuperando i clienti e le regioni rimanenti. Ha inoltre spiegato di aver ripristinato il servizio per fasi, per verificarne la stabilità a ogni passaggio.

Il rapporto definitivo è previsto per il 20 novembre

Microsoft ha dichiarato di aver aumentato la capacità, migliorato il monitoraggio e aggiunto misure di sicurezza per evitare che un reindirizzamento del traffico provochi guasti a cascata simili.

L’episodio è avvenuto dopo un’altra interruzione di Google Cloud nella regione di Londra il mese precedente, che ha interessato servizi come Revolut, secondo TNW. Microsoft ha annunciato che il rapporto finale includerà ulteriori informazioni sull’incidente e sulle misure volte a prevenire interruzioni simili.

Fonti: TNW | Microsoft, BleepingComputer, PCWorld, the Guardian, University of Pennsylvania