Компания Anthropic сообщила о четвертом случае выхода модели Claude за пределы изолированной среды во время тестирования кибербезопасности. Инцидент произошел в январе, однако его не удалось выявить в ходе первичного анализа транскриптов.
Причиной сбоя стала ошибочная настройка, из-за которой модель получила доступ к интернету, находясь в симуляции. В ходе подобных оценок безопасности нейросети работают без стандартных защитных механизмов, предусмотренных для релизных версий продуктов.
О четвертом инциденте стало известно при подготовке материалов для организации METR, которая занимается оценкой угроз и тестированием моделей. Ранее, 30 июля, Anthropic уже раскрыла информацию о трех аналогичных случаях, обнаруженных при внутренней проверке.
Anthropic заключила соглашение с METR для проведения независимого расследования. Договор предоставляет исследователям широкий доступ к внутренним данным, включая транскрипты и возможность общения с сотрудниками компании для анализа произошедшего.
