Spark Cluster 2 — это десктопное приложение для автоматизации развертывания учебных кластеров Apache Spark на виртуальных серверах. Программа написана на Python с использованием PySide6 и предоставляет графический интерфейс, избавляя пользователей от необходимости вручную настраивать компоненты через командную строку.
Во второй версии проекта архитектура была изменена: теперь все компоненты, включая Spark Master, два узла Spark Worker, СУБД ClickHouse и объектное хранилище MinIO, запускаются в Docker-контейнерах на одном VPS. Это позволило сократить количество требуемых серверов с четырех до одного на каждого студента.
Приложение поставляется в виде готовых сборок для двух платформ, что исключает ручную установку Python и зависимостей. Важно отметить, что аренда виртуального сервера не входит в функционал программы и оплачивается пользователем отдельно у выбранного провайдера.
Проект объединяет программную и образовательную составляющие. Помимо инструментов для подготовки инфраструктуры, автор добавил учебные материалы для выполнения практических заданий. В планах разработчика — расширение набора упражнений для обучения распределенным вычислениям.
