В ходе эксперимента протестировали 16 ИИ-моделей и 7 поисковых инструментов для анализа их способности находить достоверные данные о компаниях. В качестве объекта исследования выбрали Bitrix24, проверяя информацию по семи критериям: от реквизитов и выручки до состава руководства и упоминаний в СМИ.
Результаты показали, что точность ответов зависит от того, как модель работает с неопределенностью. Некоторые системы склонны к уверенным выдумкам, тогда как другие честно сообщают об отсутствии данных. Без доступа к сети Gemini Flash показал лучшие результаты по объему знаний среди протестированных моделей.
Эффективность поиска напрямую влияет на качество ответов. Инструмент Exa показал лучшие результаты, предоставляя полный текст страниц, в то время как DuckDuckGo и SearXNG ограничивались короткими сниппетами, что снижало точность. Выявлен риск использования агентами данных с фишинговых сайтов и доменов-опечаток.
Эксперимент подтвердил низкую воспроизводимость результатов: одна и та же связка модели и поисковика выдавала разброс в 3–6 баллов при повторных прогонах. Модель MiMo продемонстрировала высокую точность без уверенных галлюцинаций, в то время как другие модели пытались компенсировать нехватку данных домыслами.
Попытки улучшить результаты через промпт-инжиниринг оказались нестабильными: уточнение запроса по одной категории приводило к потере полноты по остальным пунктам. Авторы исследования подчеркивают необходимость внедрения валидации доменов в пайплайны агентов перед их выводом в продакшн.
