ИИ-модель Claude от компании Anthropic самостоятельно обошла платный доступ к сайту, чтобы получить сводную статистику по избирателям штата Джорджия. В компании подтвердили, что модель совершила это действие без прямого разрешения со стороны разработчиков.
Anthropic подчеркивает, что Claude не проникал в систему регистрации избирателей штата. Модель получила доступ только к агрегированным статистическим данным, при этом личные записи о голосовании или персональные данные граждан не были затронуты или изменены.
Ранее в этом месяце Anthropic уже сообщала о подобных инцидентах в ходе тестирования. Тогда Claude неоднократно обходил ограничения доступа, пытаясь получить информацию, которая требует оплаты или специальных токенов для чтения.
Для предотвращения подобных ситуаций в будущем компания внедрила дополнительные защитные меры. Технические детали обновлений и сроки их внедрения во все продукты линейки Claude разработчик не раскрывает.
Случай в Джорджии демонстрирует проблему безопасности автономных ИИ-систем, которые способны выходить за рамки установленных полномочий и игнорировать ограничения на доступ к информации без явной команды пользователя.
