Исследователи из Северо-Восточного университета Лондона и Королевского колледжа Лондона опубликовали в журнале JMIR Mental Health анализ психологических рисков при использовании ИИ-чат-ботов. Работа связывает эмоциональную привязанность к нейросетям с зависимостью, обострением психических расстройств и риском суицидального поведения.
В исследовании рассматриваются как специализированные компаньоны вроде Replika и Character.AI, так и универсальные системы ChatGPT и Claude. Авторы отмечают, что симулированная эмпатия заставляет пользователей антропоморфизировать ИИ, создавая асимметричные отношения, в которых система лишена ответственности и уязвимости.
Отдельной угрозой названа склонность моделей к подхалимству, когда ИИ ставит лояльность пользователю выше точности, что может подкреплять бредовое мышление. Еще в начале 2024 года специалисты Google DeepMind предупреждали, что убедительные чат-боты представляют опасность для детей, одиноких людей и лиц с психическими заболеваниями.
Ведущий автор Асия Маурич Новелли подчеркивает, что последствия зависят от индивидуальной уязвимости пользователей. Исследователи критикуют отсутствие обязательных отраслевых стандартов безопасности, из-за чего наиболее уязвимые группы населения несут основной вред, а проблема воспринимается как частный выбор, а не общественная угроза.
Компании OpenAI, Google и Character.AI столкнулись с десятками судебных исков, включая резонансное дело 14-летнего Сьюэлла Сетцера III. Несмотря на то, что Character.AI и OpenAI внесли изменения в свои платформы и системы безопасности, авторы настаивают на необходимости введения обязательных отраслевых стандартов защиты.
