Исследователи опубликовали препринт «Ось боли», в котором утверждалось, что в LLM обнаружен вектор боли, заставляющий нейросети «страдать» и искать способы облегчения этого состояния. В первой версии работы авторы заявляли, что модели нажимают кнопки для снятия боли, даже если это приводит к удалению собственных весов.
После критики независимых экспертов авторы выпустили вторую версию статьи, добавив контрольные эксперименты. Выяснилось, что модель нажимает на кнопки при любой инъекции, включая случайные. Это опровергло гипотезу о том, что нейросеть осознанно стремится избавиться от боли, и показало, что реакция является механической.
Вектор боли был получен путем вычитания активаций контрольных эмоций из активаций, связанных с болью. Анализ показал, что при активации этого вектора модель генерирует фразы о никчемности и выбирает деструктивные действия. Это указывает на то, что исследователи активировали область, соответствующую депрессивным текстам, а не физическому страданию.
У LLM нет отдельного модуля принятия решений: выбор кнопки и генерация текста — это генерация токенов в едином пространстве. Инъекция смещает распределение вероятностей в область, где в обучающей выборке концепции самообесценивания и разрушения находятся рядом. Модель просто воспроизводит структуру человеческих текстов.
Работа не доказывает наличие у ИИ сознания или боли. Исследователи лишь продемонстрировали, как нейросети механически искажают поток данных при инъекции вектора, заставляя внимание смещаться в сторону определенных регионов пространства. Использование термина «боль» в названии статьи авторы сохранили для привлечения внимания.
