Стартап Reflection AI опубликовал веса своей большой языковой модели Beam на платформе Hugging Face. Модель насчитывает около 500 миллиардов параметров и была обучена за два месяца с использованием нескольких тысяч высокопроизводительных графических процессоров. Для оптимизации процесса обучения инженеры разработали алгоритмы обеспечения надежности, что позволило избежать простоев кластера.
Разработчикам стали доступны стандартная версия модели и несколько квантованных вариантов, оптимизированных для работы на различном оборудовании. В комплект также вошли рецепты обучения и шаблоны кода для донастройки алгоритма. Кроме того, компания представила вспомогательную модель для реализации спекулятивного декодирования, позволяющего снизить нагрузку на вычислительные мощности.
Для упрощения интеграции в релиз включены готовые конфигурации для популярных движков обслуживания и сжатые ядра для ускорения обработки данных. В ближайшие дни Reflection AI планирует выпустить дополнительные рецепты обучения, которые позволят модели улучшать качество ответов с помощью метода самодистилляции.
Компания также намерена делиться опытом, полученным при создании Beam, через вклад в развитие инструментов с открытым исходным кодом. Предоставленные ресурсы включают инструменты для оценки того, как изменения в настройках влияют на функциональные возможности модели и ее защитные механизмы.
