Компания Cloudflare представила прототип системы Cache Transcoding, которая сжимает данные непосредственно при записи в кеш. Для обработки файлов форматов HTML, JSON, CSS и JavaScript используется алгоритм Zstandard. По оценкам компании, около 71% трафика, проходящего через кеш, составляют несжатые данные, которые могли бы быть оптимизированы.
В ходе внутренних тестов прототип показал сжатие объектов примерно в 2,8 раза. Это позволяет освободить петабайты дискового пространства в дата-центрах. Сжатые данные хранятся на дисках и передаются между узлами сети в упакованном виде, а распаковка происходит только в момент отправки ответа конечному пользователю.
Разработкой прототипа занималась стажер Аши Патель, а информация о проекте была опубликована в блоге компании 1 сентября. На текущий момент решение не внедрено в рабочую среду. Специалистам требуется собрать больше данных и провести дополнительные исследования для оценки эффективности системы перед полноценным запуском.
Идея хранения сжатого кеша не является новой для индустрии. Подобная функциональность доступна в Varnish с 2011 года. Ранее выбор между использованием дискового пространства и процессорного времени часто решался в пользу дисков из-за их относительной дешевизны, что делало затраты ресурсов процессора на сжатие экономически нецелесообразными.
