Builder ELT — это open-source приложение для визуального проектирования, объединения в цепочки и планирования потоков загрузки данных. Инструмент выполняет преобразования на стороне целевой базы данных с помощью нативного SQL, а Python задействуется для работы с API и нестандартными источниками. Приложение не сохраняет пользовательские данные.
Разработка началась с попытки стандартизировать ELT-процессы, которые ранее различались от проекта к проекту. Цель проекта — сократить время разработки и количество ошибок, предоставив аналитикам со знанием SQL возможность самостоятельно загружать данные. Это снижает зависимость аналитиков от профильных ELT-специалистов.
Техническая реализация прошла путь от набора Python-функций до полноценного приложения с графическим интерфейсом и базой данных для хранения метаданных. Для управления очередями потоков в систему интегрированы Celery и Redis, а для авторизации пользователей используется провайдер Keycloak.
