Безопасность передачи данных от человека к машине остается вне фокуса широких дискуссий. Разработчики внедряют правила и ограничения для ИИ-агентов, однако эти меры зависят от критериев доверия, которые легко обходятся. Инъекция промптов занимает первое место в списке уязвимостей OWASP Top-10 for LLM, так как агент не способен отличить команду от данных или определить источник текста.
Модели ИИ обучаются на потоках данных из сети, включая синтетический контент, создаваемый пользователями. Возникает системная неустойчивость: модели начинают обучаться на собственных результатах работы. Исследования показывают, что это ведет к деградации качества информации, превращая данные в бессмыслицу через несколько циклов обновлений.
Подобный коллапс может стать стремительным и глобальным процессом. Даже при штатной работе программного кода и успешном прохождении тестов качество принимаемых решений будет снижаться из-за нарушений в глобальной коммуникации. Эксперты отмечают, что избежать этого можно лишь при условии, что синтетические данные будут дополнять человеческие, а не вытеснять их.
