Инженер Anthropic Тарик Шихипар предложил метод работы с Claude, основанный на разделении знаний на четыре категории: известные факты, осознанные пробелы, невысказанные предпочтения и неизвестные риски. Этот подход помогает устранить разрыв между инструкциями пользователя и реальными задачами.
Методика включает этап «blind spot pass», на котором модель до начала работы анализирует постановку задачи. Она выявляет отсутствующие данные, необходимые допущения и важные требования, которые пользователь мог упустить, например, вопросы безопасности или комплаенса.
Исследования Anthropic, включая работу 2022 года «Language Models (Mostly) Know What They Know», изучают способность моделей оценивать собственную уверенность. Результаты показывают, что системы могут различать надежность ответов, однако точность калибровки снижается при смене типов задач.
В 2024 году вышли работы, посвященные обучению ИИ-ассистентов распознаванию вопросов, выходящих за пределы их компетенции. Исследователи фокусируются на функциональных механизмах самооценки, которые позволяют моделям демонстрировать метакогнитивное поведение в инженерных целях.
Anthropic активно развивает направление mechanistic interpretability для анализа внутренних состояний нейросетей. Цель компании — создать инструменты для независимой проверки того, как именно модель приходит к выводам, что критически важно для управления сложными и мощными системами.
