Компания Ænix разрабатывает платформу для запуска публичного облака под ключ, включающую биллинг, управление проектами и интеграции. Вся архитектура системы базируется на Kubernetes, используя API Aggregation Layer и controller-runtime для реализации бэкенда.
Собственные ресурсы платформы хранятся в etcd-кластерах под управлением etcd-operator. Для работы с реляционными данными используется база данных Postgres, управляемая оператором CloudNativePG. Разработчики отказались от использования внешних систем синхронизации дисков, таких как Ceph или DRBD.
Отказоустойчивость достигается за счет механизмов Kubernetes: декларативного состояния, leader election и системы проб. Каждый экземпляр etcd и реплика Postgres используют локальные тома, а репликация данных между площадками осуществляется силами самих приложений.
В ходе работы над отказоустойчивостью платформы, растянутой на несколько дата-центров, команда Ænix столкнулась с ограничениями стандартных инструментов. Для обеспечения стабильной работы при сбоях инженерам пришлось разработать собственные дополнительные решения.
