Исследование Lasso Security показало, что инструмент маркировки текста SynthID-Text может снижать устойчивость нейросетей к вредоносным запросам. Внедрение водяных знаков меняет выбор слов, работу с инструментами и способность модели следовать правилам безопасности.
Исследователь Андреа Сипосова протестировала конфигурацию SynthID-Text через процессор Hugging Face на шести моделях с открытыми весами. Эксперимент показал, что при использовании маркировки модели чаще выполняют опасные команды, особенно при инъекциях промптов.
Эффект, названный дрейфом выборки, возникает из-за изменения алгоритма генерации токенов. Это влияет не только на ответы чат-ботов, но и на действия ИИ-агентов, которые могут вызывать внешние инструменты с неверными аргументами из-за смены логики выбора.
Результаты зависят от секретного ключа, используемого в процессе турнирной выборки. Исследование не охватывало проприетарные модели Claude, фокусируясь на реализации SynthID в библиотеке Hugging Face, что является ограничением текущей научной работы.
Авторы подчеркивают необходимость проведения стресс-тестов и ред-тиминга для разработчиков. Важно проверять поведение систем в условиях состязательных атак, чтобы гарантировать соблюдение протоколов безопасности после активации функций маркировки контента.
