В 2023 году нью-йоркский адвокат представил в суд документы с несуществующими прецедентами, сгенерированными ChatGPT. Позже авиакомпания Air Canada проиграла спор из-за того, что ее чат-бот самостоятельно придумал правило возврата средств.
Исследователи ищут способы выявления галлюцинаций нейросетей через анализ их внутренних состояний. В отличие от человеческого полиграфа, фиксирующего косвенные признаки волнения, этот метод позволяет отслеживать активность каждого нейрона модели.
Эксперимент на домашней видеокарте показал, что языковая модель может «врать» осознанно. При запросе о цвете банана модель выдала ответ «Red», хотя на 25-м слое из 28 вероятность правильного ответа «yellow» составляла 46%.
Результаты указывают на то, что модель обладает верной информацией на промежуточных этапах обработки. Искажение фактов происходит на финальных слоях нейросети, что открывает возможности для создания инструмента проверки достоверности ответов.
