Продакт-менеджеры часто внедряют ИИ-помощников ради трендов, не проверяя гипотезы. Например, онлайн-школа запустила ИИ-консультанта, но пользователям был нужен простой чек-лист навыков. Поддержка чат-бота оказалась дороже и менее удобной, чем актуализация текстового документа.
Работа с неструктурированными данными снижает качество ИИ. На одной платформе бот рекомендовал устаревшие материалы, так как база знаний не была приведена в порядок. Для корректной работы LLM данные должны быть верифицированными, свежими и представленными в машиночитаемом виде.
Оценка успеха по количеству запросов к ИИ обманчива. В одном проекте внедрение бота не снизило нагрузку на тьюторов, так как студенты перепроверяли ответы ИИ у людей. Эффективность нужно измерять через бизнес-метрики: время проверки заданий или процент завершения курсов.
Полная автоматизация без возможности апелляции ведет к негативу. Система оценки эссе ставила неуды из-за жестких алгоритмов, не учитывая нюансы. Менеджерам следует оставлять возможность эскалации спорных ситуаций на человека через штатные механизмы контроля.
Игнорирование операционных расходов может привести к превышению бюджета. Одна школа была вынуждена отказаться от ИИ в тестировании, когда пользователи начали проходить его многократно ради улучшения оценки, что резко увеличило счета от провайдера LLM за токены.
Безопасность и контекст — ключевые факторы. Использование внешних LLM для обработки домашних заданий может привести к утечке конфиденциальных данных компаний. ИИ должен быть бесшовной частью интерфейса, а не изолированным сервисом, с обязательным сбором обратной связи.
