Исследователь Ник Каммарата опубликовал эссе на сайте goodfire.com, в котором выдвинул гипотезу о том, что полисемантичность нейронов в LLM вызвана исправимыми причинами, а не суперпозицией. Автор утверждает, что большинство нейронов выполняют одну понятную задачу. На данный момент это рабочая гипотеза, так как полная техническая документация с описанием экспериментов еще не представлена.
В экспериментах Каммараты использовалась модель Qwen, где аудит нейронов проводили агенты. В ходе абляции методом weak75 средняя точность модели снизилась с 72% до 71%. Автор счел потерю различения между классами незначительной. Однако независимая проверка на модели MLP-512 показала, что при удалении хвоста активаций точность на пограничных примерах падает с 93,1% до 72,4%.
Результаты показывают, что слабые активации содержат границы классов, определяющие способность модели различать близкие случаи. При абляции хвоста сеть теряет почти половину умений сверх случайного угадывания, а полнота распознавания нарушений снижается вдвое — с 88% до 44%. Метод Каммараты может создавать иллюзию сохранности сети, так как не учитывает важность этих границ.
Полный разбор тезисов автора возможен только после публикации официального технического отчета. На текущем этапе выводы о доказанной интерпретируемости нейросетей остаются преждевременными, несмотря на активное обсуждение гипотезы в профессиональном сообществе.
