OpenAI сообщила о кампании по извлечению зашифрованных данных логических рассуждений своих моделей, начавшейся 1 июля. Активность достигла пика 24–25 июля, когда было зафиксировано 16 000 запросов от более чем 4 000 пользователей. Компания заявила, что полностью пресекла действия злоумышленников к 28 июля.
OpenAI связала инцидент с лицами, связанными с китайской компанией Moonshot AI. Злоумышленники пытались использовать зашифрованные блоки рассуждений из одних диалогов для их расшифровки в других. OpenAI закрыла уязвимые пути, внедрила проверки вывода данных и усилила защиту своих моделей, рабочих пространств и организаций.
Независимые исследователи также подтвердили наличие уязвимостей, связанных с межмодельным анализом. В отчете от 10 августа они показали, как зашифрованные данные от передовых моделей могут быть преобразованы в открытый текст с помощью менее мощных моделей. OpenAI, Anthropic и Google уже устранили эти пути атак.
Ранее Anthropic сообщила, что Moonshot использовала сеть из 5 380 поддельных аккаунтов для отправки почти 300 000 запросов. Эти действия включали атаки с повтором сессий для восстановления сигнатур рассуждений модели Claude. Moonshot ранее отрицала создание модели Kimi K3 путем дистилляции сторонних разработок.
OpenAI планирует обеспечить для партнерских развертываний тот же уровень защиты, что и для собственных инструментов. Компания передала результаты расследования в Frontier Model Forum и государственные органы. Разработчики ожидают, что попытки дистилляции моделей станут сложнее по мере совершенствования технологий искусственного интеллекта.
