Исследование посвящено созданию изотропных эмбеддингов для модели с 29 млн параметров. Автор сравнивает три модели: cointegrated/rubert-tiny2, sergeyzh/rubert-tiny-turbo и эталонную DeepPavlov/rubert-base-cased-sentence.
Для оценки используется набор из 10 пар, включающий парафразы, отрицания и разные темы. Качество модели определяется через метрику gap — разницу между средним косинусным сходством похожих и непохожих пар.
Результаты показали, что версия turbo в два раза эффективнее tiny2, несмотря на идентичную архитектуру (3 слоя, 312 размерностей). Эталонная модель DeepPavlov с 12 слоями и 768 размерностями превосходит turbo в 2,5 раза.
Выявлено, что учитель плохо справляется с отрицаниями: модель выдает высокое сходство для противоположных по смыслу фраз. Причиной назван mean pooling, который размывает влияние отдельных токенов, таких как «не».
В планах автора — использование contrastive-обучения на наборе ru-HNP для улучшения семантических представлений ученика. Также планируется отказ от стандартного mean pooling в пользу attention pooling.
