Джек Линдси, исследователь из компании Anthropic, провел серию экспериментов для проверки способности больших языковых моделей к интроспекции. Он разработал метод идентификации паттернов нейронной активности, отвечающих за конкретные понятия, и принудительно усиливал их для влияния на ответы моделей.
В ходе тестов 2024 года Линдси внедрял в модели Claude паттерны, связанные с понятиями вроде «секретность» или «деним». В 20% случаев наиболее мощные версии моделей верно распознавали вмешательство и описывали внедренную мысль. В контрольных группах ложных срабатываний не зафиксировано.
Исследователи Кайл Маховальд и Харви Ледерман подвергли результаты сомнению, предположив, что способность моделей описывать внедренные понятия объясняется самим процессом стимуляции. Они провели повторные тесты на моделях с открытым исходным кодом, чтобы разделить процессы обнаружения и описания.
Ученые пришли к выводу, что модели демонстрируют способность к «обнаружению аномалий» в своей работе. Этот навык не был заложен при обучении, и на текущий момент исследователи не нашли простого объяснения, которое полностью описывало бы данный эффект.
