Сбой в работе Outlook начался в прошлый четверг в 9 утра и продлился почти сутки. Проблема возникла на серверах в Швейцарии, а затем распространилась на Мексику и другие страны. В течение двух часов более 80 процентов серверов Exchange Online перестали отвечать на запросы.

Microsoft присвоила инциденту статус sev0 — высший уровень критичности. В процессе устранения неполадок участвовали сотни инженеров, а количество участников общего звонка для координации действий достигало 1000 человек. Восстановление затянулось из-за циклической перегрузки серверов входящим трафиком.

Причиной стала скрытая ошибка в сетевых шлюзах, присутствовавшая в коде с июля. Сбой спровоцировало сочетание трех факторов: переключение трафика Microsoft Teams на основной шлюз, снижение общей емкости серверов на 14 процентов из-за инцидента днем ранее и сама ошибка, вызвавшая блокировку внутренних процессов Windows.

В компании признали, что ошибка не была выявлена ранее, так как нагрузочное тестирование проводилось на менее мощном оборудовании. Проблема оказалась наиболее выраженной на новых серверах с большим количеством ядер. Microsoft планирует опубликовать итоговый отчет об инциденте на этой неделе.