Интеграция ИИ в корпоративные системы требует расширения стандартного веб-пентеста. Помимо проверки API и авторизации, специалистам необходимо анализировать, как языковые модели интерпретируют данные и взаимодействуют с внешними инструментами.
Уровень угроз зависит от типа ИИ-компонента. Чат-боты имеют ограниченное влияние, системы с RAG могут получать доступ к закрытым документам, а ИИ-агенты способны выполнять операции в CRM или календарях от имени сервисных учетных записей.
Риск утечки данных возникает, если ИИ-поиск работает с правами сервисной учетной записи, игнорируя ограничения конкретного пользователя. В результате модель может раскрыть содержимое файлов, доступ к которым для сотрудника закрыт на уровне системы.
Метод prompt injection позволяет злоумышленникам внедрять вредоносные инструкции через документы или электронную почту. Это может привести к выполнению несанкционированных действий, XSS-атакам при небезопасной обработке вывода модели или получению конфиденциальной информации.
Для оценки безопасности CISO следует фокусироваться на архитектуре системы. Важно проверять права доступа до передачи данных модели, ограничивать полномочия агентов и не считать вывод ИИ доверенным контентом, требующим обязательной фильтрации перед отображением.
