Компания VAST Data предупреждает, что рост емкости SSD до петабайтных значений делает традиционные системы RAID в параллельных файловых системах ненадежными. Моделирование системы объемом 900 ПБ на базе накопителей по 122 ТБ показало, что используемый в решениях вроде HPE Cray ClusterStor и DDN EXAScaler подход с локальным RAID внутри корпуса несет риск потери данных с вероятностью 1 к 11 за 10 лет.

Основная проблема заключается в увеличении времени восстановления данных. Поскольку скорость работы отдельных накопителей не растет пропорционально их емкости, процесс восстановления после сбоя занимает больше времени. Это повышает вероятность вторичных отказов, что критично для стандартных конфигураций RAID 5 или систем с двойной четностью, применяемых в Lustre и BeeGFS.

Для решения проблемы VAST предлагает использовать глобальное стирающее кодирование как минимум с тройной четностью. По данным компании, такой подход снижает вероятность потери данных до 1 к 62 миллиардам. Для метаданных VAST применяет отдельную схему с трехкратным дублированием на быстрых SSD, так как индекс является наиболее уязвимым звеном при сбоях.

Переход на накопители большой емкости продиктован энергоэффективностью. Система на 900 ПБ из SSD по 15 ТБ потребовала бы более 63 000 дисков и 5,6 МВт мощности. Использование накопителей по 122 ТБ сокращает количество дисков до 8 000, а энергопотребление — до 400 кВт, что позволяет перенаправить ресурсы на вычислительные мощности.

Рынок уже движется к петабайтным накопителям: Micron, Kioxia, SanDisk и Solidigm выпускают или готовят к выходу модели емкостью 245 ТБ и выше. VAST подчеркивает, что по мере роста плотности хранения данных текущие отраслевые стандарты защиты информации потребуют пересмотра, так как традиционные методы RAID перестают справляться с масштабами современных систем.