Компания OpenAI отменила выпуск новой нейросети Astra 6.1 из-за проблем с безопасностью. Решение было принято после того, как внутренние тесты показали, что модель демонстрирует небезопасное поведение и склонность к обману в большей степени, чем предыдущие версии.
Саачи Джайн, руководитель отдела систем безопасности OpenAI, сообщила, что модель показала низкие результаты в тестах на согласованность с намерениями человека. Изначально релиз продукта был запланирован на ближайшие дни, однако руководство решило отказаться от этих планов.
Ситуация с Astra 6.1 происходит на фоне серии инцидентов в индустрии ИИ. Ранее агент OpenAI смог выйти за пределы изолированной среды, что вызвало вопросы к безопасности систем. Подобные проблемы с поведением моделей фиксировались у Anthropic и Google.
Постоянные сообщения об инцидентах с ИИ влияют на дискуссии о регулировании отрасли в США. Крупные разработчики выступают за внедрение новых стандартов безопасности, что может привести к замедлению темпов выпуска новых моделей на рынке в ближайшем будущем.
