13 ноября 2026 года компания Anthropic опубликовала руководство по созданию систем оценки безопасности ИИ под названием Building Strong Safety Evaluations. Документ содержит рекомендации по проектированию и проведению тестов, определяющих готовность моделей к выпуску.
Разработчики предлагают внедрить практику пререгистрации, заимствованную из психологии. Этот метод требует фиксации плана анализа данных до начала тестирования, что исключает возможность подбора выгодных результатов после получения данных.
Anthropic рекомендует проверять автоматизированные системы оценки с помощью экспертов-людей. Также предлагается отказаться от простых показателей отказа на один запрос в пользу многоходовых симуляций, что позволяет точнее оценивать поведение модели в контексте кибербезопасности или тем самоповреждения.
В руководстве подчеркивается необходимость привлечения междисциплинарных команд, а не только инженеров по машинному обучению. Компания призывает к мониторингу тестов в реальном времени и прозрачному информированию о границах применимости и неопределенностях в процессах оценки.
Рекомендации дополняют отчеты Anthropic за октябрь 2026 года, посвященные непреднамеренным действиям моделей и практикам их сдерживания. В компании отмечают, что внедрение данных стандартов требует существенных временных, экспертных и финансовых затрат.
