Инженеры VK внедрили систему канареечного развертывания снапшотов данных для ядра подбора VK Рекламы. Метод позволяет проверять обновления конфигураций, справочников и моделей машинного обучения на ограниченной группе серверов перед их массовым распространением.
В основе решения лежит существующий оркестратор снапшотов. Команда добавила оператор снапшотов, который управляет жизненным циклом обновлений. Система использует два логических типа данных: базовый для канареечной группы и с суффиксом _verified для основной части инфраструктуры.
Процесс сборки снапшота занимает 30–40 минут. После доставки файла в канареечную группу оператор сравнивает технические и продуктовые метрики с контрольной группой. Если показатели находятся в допустимых пределах, снапшот получает статус проверенного и становится доступен для всего продакшена.
Оператор реализован на базе модели Kubernetes CRD, что обеспечивает сохранение состояния и устойчивость к сбоям. Система поддерживает работу с метриками через Prometheus API и использует два окна анализа: для подтверждения готовности инстансов и для оценки качества работы сервиса после применения данных.
Критерии успеха включают отсутствие ошибок, стабильность задержек и соответствие продуктовых показателей, таких как объем подобранной рекламы и CPM, контрольным значениям. При обнаружении отклонений процесс раскладки останавливается, что предотвращает негативное влияние на всю систему.
