«Яндекс» открыл исходный код технологии YTsaurus Flow, предназначенной для непрерывной обработки больших потоков данных. Система анализирует события, такие как клики, лайки и заказы, в режиме реального времени по мере их поступления. Это позволяет исключить задержки, которые при пакетной обработке могут достигать нескольких часов.
Технология рассчитана на высокие нагрузки и гарантирует обработку каждого события ровно один раз без дублирования или потерь. В случае сбоев система перераспределяет нагрузку между доступными серверами. Инструмент доступен под лицензией Apache 2.0, что разрешает его использование в коммерческих проектах.
Внутри компании YTsaurus Flow уже используют «Маркет» для анализа спроса и антифрод-системы для выявления злоумышленников. В подразделении «Яндекс Реклама» технология сократила время подготовки данных для обучения моделей с более чем 10 часов до минимума. Сейчас система обрабатывает там свыше 100 ГБ данных и миллионы событий в секунду.
Разработка создана командами Yandex Infrastructure и «Яндекс Рекламы» и интегрирована в платформу YTsaurus. Она дает возможность компаниям объединять в одной системе обработку накопленных данных и потоков, поступающих в реальном времени.
