Команда R&D компании Just AI занимается разработкой guard-моделей и бенчмарков для продукта Jay Guard. Это решение представляет собой слой AI-безопасности, который располагается между приложением и языковой моделью для проверки запросов на атаки, контент и персональные данные.
Исследователи отмечают, что современные AI-ассистенты подвержены методам социальной инженерии. Злоумышленники используют приемы манипуляции, имитируя поведение начальства или втираясь в доверие, чтобы извлечь данные из систем, аналогично атакам на людей.
Для защиты LLM-приложений компания создала текстовые детекторы. В ходе тестирования выяснилось, что готовые модели демонстрировали большое количество ложных срабатываний при обработке русскоязычного трафика, что потребовало переработки обучающих данных.
Специалисты Just AI подчеркивают, что обучение модели является лишь начальным этапом. Основная работа заключается в постоянной поддержке качества системы, чтобы эффективно противостоять новым типам атак и учитывать специфику реального пользовательского трафика.
