Un bug software introdotto a luglio ha lasciato fuori servizio Outlook, Teams e altri servizi Microsoft 365 per 23 ore e 50 minuti, secondo il rapporto preliminare di Microsoft. Il blackout è iniziato il 12 novembre ed è terminato il giorno successivo; l’azienda ha attribuito il collasso alla concomitanza di un errore latente, a un maggior traffico su un gateway di rete e alla capacità ridotta.
L’incidente ha interessato utenti di tutto il mondo, tra cui aziende, ospedali ed enti pubblici, e ha interrotto anche Exchange Online e Copilot. Nel rapporto preliminare, Microsoft esclude che la causa sia stata un’intrusione: descrive una sequenza di problemi tecnici che si sono propagati tra server e regioni.
Un bug di luglio sfuggito ai test
Il difetto è comparso in un aggiornamento per i server gateway di rete di Microsoft 365. L’aggiornamento ha iniziato a essere distribuito all’inizio di luglio ed era in servizio da oltre tre mesi senza che fossero stati rilevati problemi. In determinate condizioni di traffico, tuttavia, un processo interno entrava in contesa per l’uso delle risorse e poteva far smettere di rispondere le macchine.
Charles Lamanna, vicepresidente esecutivo di Microsoft, ha spiegato che i test di carico non hanno riprodotto le condizioni che hanno fatto emergere il bug. I laboratori utilizzavano una diversa combinazione di traffico e SKU, oltre a hardware meno potente e con meno core rispetto ai server di produzione. Il problema si aggravava proprio sulle macchine più nuove e con più core.
L’operazione che ha aumentato il carico è avvenuta circa 15 ore prima del blackout: Teams è passato da un’infrastruttura alternativa a quella principale, condivisa con Exchange Online. Il cambiamento rientrava nel normale funzionamento dell’infrastruttura, ma ha concentrato più traffico su un gateway che disponeva già di meno capacità disponibile.
Microsoft ha dichiarato che circa il 14% della capacità di quel gateway era fuori servizio a causa di un problema indipendente verificatosi il giorno precedente. BleepingComputer ed Engadget riportano questa cifra dal rapporto preliminare. Computer Hoy, invece, afferma che più dell’85% dei server del gateway era fuori servizio a causa di quell’incidente precedente; la cifra non coincide con la riduzione di capacità del 14% citata dalle altre testate.
| Momento | Fatto comunicato |
|---|---|
| Inizio di luglio | Inizia la distribuzione dell’aggiornamento che conteneva il bug latente. |
| Circa 15 ore prima del blackout | Teams passa al gateway principale utilizzato anche da Exchange Online. |
| 12 novembre, 17:20 | Inizia l’interruzione, secondo SmartWorld. |
| 13 novembre, 17:10 | Termina l’impatto attivo, secondo SmartWorld. |
| 14 novembre | Proseguono le verifiche tecniche, secondo SmartWorld. |
Gli orari pubblicati da BleepingComputer per l’inizio e la fine sono le 11:20 a. m. ET del 12 novembre e le 11:10 a. m. ET del giorno successivo. Microsoft ha dichiarato che il blackout è coinciso con il periodo di maggior traffico negli Stati Uniti, un giovedì pomeriggio.
Il traffico reindirizzato ha esteso il guasto
Quando i primi server hanno smesso di rispondere, i sistemi di gestione del traffico hanno inviato le richieste ad altre macchine disponibili. Ma queste hanno ricevuto un carico maggiore e hanno riscontrato lo stesso difetto. Il processo ha trasformato un guasto localizzato in un guasto a cascata: in meno di due ore, più dell’80% dei server coinvolti non rispondeva, secondo Microsoft.
I meccanismi progettati per contenere i problemi tra le regioni non sono riusciti a impedire che l’interruzione si propagasse. Computer Hoy riporta la spiegazione di Lamanna sulla propagazione da un server all’altro, mentre BleepingComputer segnala che le misure di sicurezza regionali non sono riuscite a isolare l’incidente. L’impatto ha raggiunto diversi servizi Microsoft 365 in tutto il mondo.
Neppure riavviare le macchine era sufficiente a risolvere il problema. Una volta tornate disponibili, ricevevano le richieste accumulate durante il blackout e potevano bloccarsi di nuovo. Poiché il difetto era in produzione da mesi, Microsoft non poteva eliminarlo semplicemente annullando un aggiornamento recente: i suoi ingegneri hanno dovuto preparare una correzione specifica e distribuirla gradualmente.
Teams, OneDrive e SharePoint hanno ripristinato il servizio prima di Exchange Online, secondo BleepingComputer e SmartWorld. Exchange aveva meno margine per deviare il traffico verso un’altra infrastruttura, prolungando i problemi di accesso alla posta elettronica. Microsoft ha ripristinato i servizi regione per regione, secondo Computer Hoy. BleepingComputer ha riferito che l’azienda ha distribuito una correzione sui server interessati e che i servizi si sono stabilizzati nel corso di venerdì. Microsoft ha confermato che l’impatto attivo era terminato il 13 novembre alle 11:10 a. m. ET.
«Ci rammarichiamo profondamente dell’impatto su tutti i nostri clienti e riconosciamo le conseguenze sulle loro operazioni e attività abituali».
— Charles Lamanna, vicepresidente esecutivo di Microsoft
Le email di phishing hanno approfittato del blackout
Mentre l’interruzione era ancora in corso, il 13 novembre è iniziata una campagna di phishing su larga scala, documentata da Microsoft Threat Intelligence il 16 novembre, secondo SmartWorld. I messaggi imitavano avvisi ufficiali sullo stato di Microsoft 365 e affermavano che alcune email erano rimaste bloccate durante il blackout e sarebbero state eliminate entro 24 ore se il destinatario non le avesse recuperate.
Il link che avrebbe dovuto consentire di ripristinare quei messaggi portava a siti non affiliati a Microsoft; il furto delle credenziali degli account aziendali era ritenuto un possibile obiettivo. SmartWorld ha indicato che non vi era alcuna conferma di password rubate o account compromessi e che Microsoft Defender aveva rilevato e bloccato i messaggi e i domini collegati alla campagna.
Crediti per le aziende e richieste di risarcimento
Microsoft offre ai clienti aziendali crediti dal 25% al 100% del costo del servizio interessato, secondo SmartWorld. Non vengono applicati automaticamente: gli amministratori devono richiederli dal portale Microsoft 365, nella sezione «Guida e supporto», entro il 31 dicembre, indicando i codici dell’incidente EX1550543 e MO1550821.
Gli abbonati privati a Microsoft 365 Personal o Family non hanno diritto a un risarcimento automatico previsto. Possono contattare il supporto per richiederne uno, ma spetta a Microsoft decidere se concederlo. Codacons ha chiesto risarcimenti automatici per aziende e cittadini e ha minacciato di intraprendere azioni legali; SmartWorld precisa che si tratta di una richiesta straordinaria, non di un diritto al rimborso automatico riconosciuto dagli accordi di Microsoft. L’azienda non aveva annunciato un piano straordinario di risarcimenti.
Un’allerta della piscina che non è arrivata al personale
A Brühl, vicino a Colonia, un sistema automatico ha rilevato una concentrazione eccessiva di cloro nella piscina di un hotel e ha generato un’allerta per il personale. L’avviso è stato inviato via email e non è arrivato durante il blackout. Quindici ospiti hanno riportato irritazioni alle vie respiratorie; quattro sono stati trasportati in ospedale e uno è rimasto in osservazione, secondo SmartWorld.
L’episodio ha portato in primo piano il rischio di dipendere da un unico canale digitale per le comunicazioni di sicurezza. Il rapporto preliminare di Microsoft descrive già il guasto e la sua propagazione, ma l’azienda deve ancora spiegare nel rapporto definitivo perché i meccanismi di isolamento tra le regioni non abbiano contenuto la cascata. BleepingComputer ha riferito che Microsoft ha anche aumentato la capacità, migliorato il monitoraggio e aggiunto misure di sicurezza per evitare che un reindirizzamento del traffico provochi un guasto simile.
Fonti: SmartWorld, Engadget, Computer Hoy, BleepingComputer