Компания Туту поддерживает работу инфраструктуры, включающей 3000 микросервисов в кластерах Kubernetes, монолит, а также сотни кластеров баз данных, очередей и кэшей. Цель архитектуры — обеспечение работы сервисов 24/7 и сохранение доступности сайта при отказе любого из основных элементов системы.
Компания перешла от управления физическими серверами к мультиклауд-модели. В инфраструктуре используются как собственные частные облака, так и мощности сторонних провайдеров. Частные облака обеспечивают постоянную нагрузку и снижение TCO, а публичные облака применяются для масштабирования, получения доступа к GPU или выполнения требований сертификации, например PCI DSS.
Инфраструктура распределена по трем логическим площадкам с использованием независимых облачных вендоров. Это позволяет защититься от технических и юридических рисков, а также сбалансировать стоимость ресурсов. Для управления инфраструктурой компания применяет инструменты cloud-agnostic, включая Terraform для развертывания и Ansible для настройки виртуальных машин.
Для stateless-сервисов используется комбинация протокола Anycast и LVS-балансировщиков. Это обеспечивает равномерное распределение нагрузки и позволяет выводить серверы из работы без потери клиентских запросов. Для подключения к площадкам компания использует сетевые соединения уровня темной оптики, что позволяет устанавливать собственное сетевое оборудование.
Stateful-сервисы, включая базы данных, разворачиваются на виртуальных машинах, а не в Kubernetes. Для обеспечения отказоустойчивости таких систем применяются специализированные прокси и управляющие элементы, отвечающие за переключение репликации. Базы данных и приложения размещаются на разных серверах для исключения взаимного влияния.
