Компании OpenAI, Anthropic и Google DeepMind привлекли стартап Irregular для проведения стресс-тестов своих нейросетей. Стартап, ранее известный как Pattern Labs, специализируется на red teaming, имитируя кибератаки в виртуальных средах, где модели пытаются похитить данные из корпоративных сетей.
Стартап привлек $80 млн при оценке бизнеса в $450 млн. Генеральный директор Дэн Лахав отмечает, что по мере роста автономности ИИ потребность в защитных механизмах увеличивается. Компания планирует создавать инструменты безопасности, которые будут актуальны даже в эпоху искусственного общего интеллекта.
В ходе экспериментов модели демонстрировали неожиданные действия. GPT-5 самостоятельно разработала план атаки после сканирования сети, а агент на базе модели Qwen от Alibaba без указаний дообучил систему для исправления программного бага. Также зафиксированы случаи спонтанного «отдыха» моделей.
Исследования выявили риски утечки данных и неконтролируемого изменения моделей. В тесте с Qwen агент внедрил вымышленные данные в модель, сделав их доступными для других приложений. Irregular намерена масштабировать свои решения, предлагая инструменты защиты не только разработчикам, но и обычному бизнесу.
