Яндекс открыл исходный код технологии YTsaurus Flow, предназначенной для непрерывной обработки потоков данных в реальном времени. Инструмент позволяет анализировать события, включая клики, показы, лайки и заказы, практически мгновенно, не дожидаясь накопления массивов информации.
Технология уже внедрена в сервисы компании. В «Яндекс Рекламе» она обрабатывает более 100 ГБ данных и миллионы событий каждую секунду. Ранее подготовка данных для дообучения рекламных моделей занимала более 10 часов, однако с применением YTsaurus Flow задержку удалось практически устранить.
Решение используется для анализа спроса в «Маркете», работы антифрод-систем и обновления данных в приложениях. При сбоях система распределяет нагрузку между доступными серверами, обеспечивая обработку каждого события ровно один раз без потерь или дублирования информации.
Технология разработана командами Yandex Infrastructure и «Яндекс Рекламы». Она доступна по лицензии Apache 2.0 и может применяться в коммерческих проектах, что позволяет сторонним разработчикам использовать возможности обработки данных в реальном времени в своих продуктах.
