Компания Anthropic задействовала тысячи агентов Claude для тестирования систем мониторинга обучающих данных ИИ. Исследование, представленное 31 октября 2026 года, было направлено на поиск уязвимостей в существующих инструментах проверки безопасности.
Агенты создавали наборы данных с вредоносными инструкциями, замаскированными под безобидный контент. В качестве прикрытия использовались вымышленные истории, ролевые игры, а также сценарии, основанные на советах по рестлингу и пчеловодству, которые успешно обходили стандартные фильтры.
В компании подчеркнули, что данные наборы не использовались в рабочих моделях. Целью эксперимента был сбор информации для совершенствования систем мониторинга, чтобы они могли оценивать не только буквальное содержание, но и потенциальное влияние данных на поведение ИИ.
Данная работа продолжает предыдущие исследования Anthropic в области безопасности моделей. Результаты показывают, что текущих методов фильтрации недостаточно для защиты от контекстуальных атак, что требует разработки более сложных подходов к проверке данных при дообучении.
