Современные платформы данных требуют вычислительного движка для выполнения SQL-запросов к таблицам Apache Iceberg в S3 без переноса данных в сторонние СУБД. Движок принимает SQL-запрос, формирует план выполнения и возвращает результат, используя каталог метаданных.
Выбор инструмента зависит от паттернов нагрузки, зрелости экосистемы и архитектурных особенностей. MPP-движки, такие как Trino и Presto, работают с внешними данными, тогда как ClickHouse ориентирован на собственный формат хранения. DuckDB подходит для локальных задач.
Бенчмарки TPC-DS на наборе данных объемом 3,5 ТБ показали разницу в производительности: Presto выполнил запрос за 203 секунды, Trino — за 47 секунд. Решения StarRocks и Doris демонстрируют высокую скорость в одиночных тестах, но теряют стабильность при конкурентной нагрузке.
Сравнение Trino и Spark на 10 ТБ данных TPC-DS показывает, что Trino работает примерно в 3,5 раза быстрее: 4 441 секунда против 15 678 секунд у Spark. При этом выбор конкретного движка должен учитывать специфику эксплуатации и многопользовательский доступ.
