Google Cloud зафиксировала частичный сбой в регионе us-central1-b, который произошел 1 сентября с 07:41 до 11:52 по тихоокеанскому времени. Причиной стала ошибка инженера, который в ходе стандартных работ по обслуживанию оборудования физически отключил все оптоволоконные кабели от сети.
По данным компании, в разгар инцидента объем проходящего трафика в пострадавшей области облака сократился на 100%. Это привело к серьезному ухудшению работы сети и изоляции ресурсов, из-за чего ряд инстансов стал недоступен для пользователей и выросли потери пакетов.
Google пояснила, что архитектура облачных ЦОД предусматривает резервирование маршрутизаторов, двойное и тройное резервирование питания и использование нескольких ВОЛС. Однако все эти меры защиты были обойдены путем простого извлечения кабелей из гнезд.
Для устранения проблемы Google перенаправила трафик с отключенных маршрутизаторов на работоспособные мощности в других частях региона. Исходная конфигурация сети была восстановлена после того, как инженер вернул кабели на место.
