Исследователи из KAIST и Naver AI Lab выяснили, что этапы логического мышления языковых моделей отражаются в их внутренних числовых представлениях. Ученые выделили восемь типов операций, включая вычисления, дедукцию и поиск формул, протестировав модели Qwen2.5-7B, Qwen3-8B и Gemma4-31B.
Анализ показал, что внутренние состояния моделей четко разделяют эти операции, причем наиболее выраженный сигнал наблюдается в средних слоях нейросети. Внутренние представления одного и того же слова меняются в зависимости от того, какой тип логического шага выполняет модель в данный момент.
Эксперименты подтвердили, что логические шаги зависят от контекста: блокировка внимания к предыдущим 30 токенам ослабляла сигнал операции. При этом даже в случае неверного решения математической задачи модель сохраняла внутренние характеристики, соответствующие типу выполняемого действия.
Результаты исследования подтвердились на модели Llama-3-8B, а классификаторы успешно перенеслись на наборы данных GPQA-Diamond и MATH-500. Авторы работы изучают возможность использования этих данных для контроля за генерацией ответов и выявления ошибок в работе ИИ.
