Più dell'80% dei server gateway di rete di Microsoft 365 è arrivato a non rispondere durante l'interruzione globale del 12 novembre. Microsoft attribuisce il collasso a un difetto introdotto a luglio, attivato quando il traffico è aumentato e quasi il 14% della capacità di questi sistemi era fuori servizio.
L'interruzione ha interessato servizi come Outlook, Exchange Online, Teams e Copilot ed è iniziata alle 11:20, ora della costa orientale degli Stati Uniti, di giovedì 12 novembre. Microsoft ha confermato il ripristino completo alle 11:10 del giorno successivo, dopo quasi 24 ore di problemi che hanno impedito l'accesso alla posta elettronica e ritardato la consegna dei messaggi.
Tre condizioni si sono verificate contemporaneamente nei gateway
Microsoft ha riassunto l'origine in tre fattori: un difetto software latente, più traffico sui gateway e una capacità disponibile inferiore al normale. L'azienda ha spiegato che la combinazione dell'aumento del traffico e della capacità ridotta ha attivato il difetto. Questa spiegazione compare nel rapporto preliminare e nelle dichiarazioni di Charles Lamanna, vicepresidente esecutivo di Copilot, Agents e Platform.
Il difetto proveniva da un aggiornamento predisposto per i server gateway di rete di Microsoft 365. L'aggiornamento è stato distribuito a partire da luglio e ha funzionato per oltre tre mesi senza che si osservassero problemi. Tuttavia, in determinate condizioni di traffico poteva provocare una contesa sui lock — una lock contention — e far smettere di rispondere alle macchine.
Microsoft ha spiegato che i consueti test di carico non hanno riprodotto la combinazione che ha innescato il guasto. I laboratori usavano modelli di traffico e configurazioni hardware diversi da quelli di produzione; inoltre, i test si concentravano su apparecchiature con meno core e meno potenti. L'azienda ha affermato che il problema peggiorava sulle macchine con più core e hardware più recente.
“In less than two hours, the previously unknown defect was encountered across our fleet and rendered them unresponsive. At its lowest, more than 80% of servers were unresponsive.”
— Microsoft, rapporto preliminare
Il cambio di percorso di Teams ha aumentato il carico
Circa 15 ore prima dell'interruzione, Teams è passato automaticamente da un'infrastruttura gateway alternativa a quella principale, che supporta anche Exchange Online. Il failover ha modificato il modello di traffico e aumentato il carico su questi server. Microsoft ha sottolineato che questo tipo di commutazione fa parte delle normali operazioni di resilienza.
Anche Teams aveva subito un'interruzione indipendente lo stesso giorno, ma Microsoft non ha chiarito se i due incidenti fossero correlati. Ciò che ha collegato all'interruzione successiva è stato il cambio di percorso: concentrando più traffico sui gateway principali, ha lasciato meno margine per assorbire l'effetto del difetto latente.
A questa pressione si è aggiunto il fatto che quasi il 14% della capacità dei gateway era fuori servizio a causa di un problema non correlato verificatosi il giorno precedente. Microsoft ha sostenuto che l'infrastruttura aveva capacità sufficiente per sostenere tale riduzione mentre il problema veniva risolto e che quei server sarebbero dovuti tornare in servizio tramite le normali attività di manutenzione e controllo dello stato. La concomitanza dei fattori ha cambiato l'esito: più carico è arrivato su meno macchine, innescando il guasto.
Il reindirizzamento ha trasformato il guasto in una cascata
Quando alcuni server hanno smesso di rispondere, i sistemi di Microsoft hanno reindirizzato gli utenti verso altri ancora disponibili. Questa reazione ha spostato le richieste, ma ha anche sovraccaricato i server rimanenti. Lo stesso difetto poteva quindi ripresentarsi in altri punti della flotta e l'interruzione si è estesa in meno di due ore.
flowchart TD
A["Defecto introducido en julio"] --> D["Más carga y menos capacidad"]
B["Teams cambia de gateway"] --> D
C["Casi 14% de capacidad fuera de servicio"] --> D
D --> E["Servidores dejan de responder"]
E --> F["Tráfico redirigido a otros servidores"]
F --> G["Más saturación en la flota"]
G --> H["Más del 80% sin respuesta"]Microsoft ha dichiarato che anche le protezioni progettate per impedire ai problemi di propagarsi da una regione all'altra non sono riuscite a contenere questa diffusione. L'episodio ha messo in luce una tensione concreta nel meccanismo di ripristino descritto dall'azienda: deviare il traffico può mantenere attivo il servizio se è disponibile capacità, ma in questo caso ha trasferito il carico su server vulnerabili allo stesso difetto.
L'architettura di Microsoft 365 comprende due sistemi gateway indipendenti e distinti, progettati per garantire isolamento e alta disponibilità. Secondo Lamanna, questo design consente a molti servizi di passare dall'uno all'altro in caso di interruzioni. Tuttavia, Exchange Online non è riuscito a passare a un'infrastruttura alternativa, come invece hanno fatto altri servizi, tra cui Teams, OneDrive e SharePoint, che hanno potuto riprendersi prima.
Anche il ripristino si è scontrato con il carico accumulato
Riavviare i server interessati non era sufficiente: Microsoft ha spiegato che ricevevano rapidamente di nuovo il traffico accumulato e si saturavano un'altra volta. Una volta individuato il difetto, i suoi ingegneri hanno preparato una correzione e l'hanno distribuita sui server interessati. I servizi si sono stabilizzati nel corso di venerdì e l'azienda ha dichiarato concluso l'impatto attivo alle 11:10, ora della costa orientale, del 13 novembre.
Per le aziende che dipendono da Exchange Online, il risultato è stato più di un semplice degrado temporaneo di un'applicazione: la posta elettronica è diventata inaccessibile e i messaggi hanno subito ritardi. L'interruzione ha interessato anche Copilot e altri servizi di Microsoft 365. Le informazioni pubblicate non specificano l'impatto per cliente né quantificano i messaggi ritardati, quindi non consentono di confrontare le conseguenze tra le organizzazioni.
Più capacità e test più simili all'ambiente di produzione
Microsoft afferma che dopo l'incidente ha aumentato la capacità disponibile, migliorato il monitoraggio e aggiunto misure di sicurezza per evitare che il reindirizzamento del traffico provochi cascate simili. La discrepanza tra le apparecchiature di test e i server di produzione evidenzia anche una chiara questione operativa: in questo caso, i test non rappresentavano le combinazioni di hardware e traffico che hanno fatto emergere il difetto.
La spiegazione dell'azienda non specifica quali modifiche concrete abbia apportato ai test di carico né come cambierà i limiti di reindirizzamento tra server o regioni. Non chiarisce neppure se l'interruzione indipendente di Teams fosse in qualche modo collegata al failover che ha aumentato il traffico. Microsoft ha dichiarato di stare ancora indagando e di prevedere la pubblicazione del rapporto finale sull'incidente più avanti nella stessa settimana.
Fonti: BleepingComputer, IT Pro