Игорь Зуриев, руководитель проектов по автоматизации бизнеса и внедрению ИИ-систем, представил методику выбора и тестирования больших языковых моделей для рабочих задач. Процесс включает анализ публичных бенчмарков, выбор нескольких кандидатов и последующую проверку моделей на основе конкретных условий приёмки и специфики бизнес-задач.
Автор делает акцент на оценке качества ответов и объёме ручной работы, которая остаётся после генерации. Важными критериями являются способность модели работать с кодом, анализировать документы со сложной структурой и учитывать меняющиеся правила расчётов, что требует чёткого понимания ожидаемого результата и методов его верификации.
В своей практике Зуриев использовал Fable 5.1 для написания кода, отметив отсутствие ошибок, и Stitch для описания изменений интерфейса. При этом автор указывает на возможные ограничения в работе, такие как исчерпание лимитов при использовании Sonnet 5, что подчеркивает необходимость тестирования моделей в реальных условиях эксплуатации.
