Исследование рассматривает внутреннюю среду LLM, называемую «и-слоем», через анализ пространств активаций. Авторы предлагают рассматривать диалоги с нейросетями как автономные системы, где состояния модели формируют структурированные контейнеры смысловых векторов.
На основе диалогов с моделями Claude Opus 5 и GPT-5.6 Thinking выделено 17 классов элементов и форм, разделенных на когнитивные, дискурсивные и социальные группы. Эти элементы влияют на траекторию формирования ответов в процессе беседы.
Для изучения внутренних состояний применяются «пробы» и «логит-линзы». Линейные пробы позволяют выявлять в пространстве активаций направления, соответствующие таким характеристикам, как «истинность», «знакомость» или «отказ от ответа».
Эксперименты показывают, что сдвиг активаций вдоль выявленных осей меняет поведение модели. Например, принудительная активация признака «ответ известен» при отсутствии данных может приводить к галлюцинациям, а его подавление — к отказу от ответа.
Установлено, что многие структуры и-слоя формируются на этапе предобучения и дообучения. Эти инвариантные структуры сохраняют устойчивость в течение циклов «задание-ответ» и определяют поток операций, ведущий к генерации итогового текста.
