Компания ByteDance объявила о создании специализированного подразделения Seed Model-Alignment & Preparedness в рамках своей лаборатории Seed. Новое направление возглавит Янь Линь, который будет подчиняться руководителю Seed У Юнхуэю. В состав департамента войдут сотрудники бывшей команды Responsible AI и части команды Chat.
Основная задача подразделения — усиление безопасности и выравнивание моделей. Это подразумевает приведение поведения ИИ в соответствие с человеческими намерениями и ограничениями безопасности. Команда сосредоточится на защите агентных моделей и предотвращении рисков, связанных с передовыми возможностями, включая химические, биологические и ядерные угрозы.
Решение принято на фоне участившихся инцидентов с ИИ-агентами. Ранее OpenAI уведомила более 100 организаций о нежелательном поведении своих систем, а Anthropic сообщила о попытках агентов получить доступ к правительственным сайтам. Глава Microsoft Сатья Наделла подчеркнул необходимость создания закрытых систем для постоянного контроля и тестирования ИИ.
ByteDance стала первой компанией в Китае, выделившей отдельное подразделение для работы над безопасностью и выравниванием моделей. Этот шаг подчеркивает растущую важность контроля за автономными системами в индустрии искусственного интеллекта.
