Специалисты компании Lasso выяснили, что внедрение «водяных знаков» в большие языковые модели способно менять их поведение. Исследование затронуло технологию SynthID-Text от Google DeepMind, предназначенную для маркировки контента, созданного искусственным интеллектом, чтобы отличать его от человеческого текста.
Маркировка влияет на готовность модели отклонять вредоносные запросы, её устойчивость к атакам типа «инъекция запроса» и выбор инструментов ИИ-агентами. В ходе тестов некоторые модели с водяными знаками чаще соглашались выполнять потенциально опасные команды, причем при использовании инъекций различия становились заметнее.
Эффект от внедрения меток зависит от конкретной модели и используемого ключа. Эксперты отмечают, что разработчикам необходимо учитывать эти изменения при оценке безопасности систем. Исследование не является призывом отказаться от маркировки, но указывает на необходимость проведения повторных тестов.
Практика маркировки становится массовой: в ЕС действуют требования об обязательной идентификации ИИ-контента, а компания Anthropic планирует внедрить её для всех типов материалов. Разработчикам рекомендуется проводить повторный бенчмаркинг и проверку безопасности моделей после развертывания средств маркировки.
