Исследование проверило наличие «направления негации» в эмбеддингах восьми моделей, включая all-mpnet-base-v2, bge-base-en-v1.5 и rubert-tiny2. Для поиска вектора отрицания авторы использовали метод DiffMean на 240 парах утверждений для каждого языка.
Выявленная ось оказалась устойчивой для всех 11 протестированных пар «модель — язык». В английских моделях направление перекрывается с заменой на антоним, однако после уравнивания весов позитивных и негативных утверждений остается компонента, определяющая отрицание в фразах из STS-B с AUC 0,89–0,99.
Вычитание этой оси из эмбеддингов ухудшает качество работы моделей. При этом добавление вектора как признака к косинусному сходству снижает количество ошибок, при которых фразы с отрицанием ошибочно принимаются за перефразы.
Метод имеет ограничения: он штрафует правильные ответы, содержащие отрицание. В работе использовались только короткие шаблонные фразы с явными частицами «не» и «not», при этом морфологическое отрицание и длинные тексты не рассматривались.
