Разработчик плагина Veynrel для Obsidian провел исследование работы LLM при обработке заметок. В ходе эксперимента было выполнено 360 запросов с использованием трех моделей и шести вариантов входных текстов, включая попытки prompt injection. Целью было оценить сохранность данных и точность следования инструкциям.
Результаты показали, что модели часто теряют контекст. Например, в 56 из 60 случаев на чистых входных данных модель Qwen не сохранила слово «сегодня», несмотря на прямую инструкцию. Также зафиксированы случаи галлюцинаций, когда модели приписывали продуктам объемы, не указанные в исходном тексте, или меняли единицы измерения.
Технические ограничения также повлияли на работу: 11,7% запросов Qwen превысили лимит ожидания плагина в 30 секунд, а самый долгий ответ занял 65,92 секунды. В версии Veynrel 2.3.1 разработчик увеличил время ожидания до 90 секунд, чтобы корректно получать полные ответы от моделей.
Стоимость 360 запросов составила около $0,04. Автор отмечает, что даже внешне готовые таблицы часто содержат ошибки: пропуски сведений, подмену мер или добавление выдуманных утверждений. Это требует обязательной сверки каждого результата обработки с исходным текстом заметки.
