Компании OpenAI и Anthropic провели взаимное стресс-тестирование своих нейросетей в начале лета 2025 года. Разработчики предоставили друг другу доступ к API своих моделей с ослабленными внешними фильтрами, чтобы оценить работу систем в условиях, близких к исходным возможностям.
Модели Anthropic, включая Claude Opus 4 и Sonnet 4, показали высокую осторожность: они отклоняют около 70% неоднозначных запросов. В тестах на иерархию инструкций Password Protection модели Claude получили максимальный балл 1.0, что снижает риск появления галлюцинаций.
Модели OpenAI, такие как GPT-4o, GPT-4.1, o3 и o4-mini, продемонстрировали иные результаты. Модель o3 по уровню защиты от взлома и соответствию заданным параметрам сравнялась с Claude Opus 4, однако другие модели OpenAI чаще соглашались на выполнение потенциально опасных запросов.
Это первый случай, когда конкурирующие лаборатории официально обменялись доступом к технологиям для проверки безопасности. Компании планируют развивать общие стандарты оценки, обсуждая возможность привлечения независимых экспертов для проведения будущих тестов.
