Принцип асимметрии в тестировании ИИ гласит: один контрпример опровергает общее утверждение, тогда как любое количество подтверждающих тестов не может его доказать. Эта логика, известная со времен Аристотеля и сформулированная Эдсгером Дейкстрой для IT, меняет стратегию проверки моделей с накопления успехов на поиск ошибок.
Для рутинных задач разработчики применяют фаззинг и метаморфное тестирование. Если формальная спецификация невозможна, используются статистические методы, такие как «правило трех» или конформное предсказание, позволяющие оценить границы надежности. Для критически важных свойств единственным корректным методом остается формальное доказательство.
Исследование Apple «The Illusion of Thinking» 2025 года показало, что ошибки моделей часто оказываются артефактами эксперимента, например, из-за неразрешимости задач или лимитов токенов. Валидный контрпример требует строгого контроля: задача должна быть корректной, а влияние окружения модели — исключенным.
Бенчмарки, такие как GPQA Diamond, дают лишь статистические свидетельства, но не доказывают наличие у модели «рассуждения уровня PhD». Высокие баллы полезны для сравнения версий, но не фиксируют конституирующие свойства модели, так как подвержены утечкам данных и оптимизации под конкретные тесты.
Нейросимволические методы, включая верикодинг, позволяют обходить ограничения бенчмарков. Вместо попыток доказать общую компетенцию модели, система проверяет каждый отдельный результат с помощью верификатора. Это позволяет работать без общих утверждений о способностях нейросети, обеспечивая корректность конкретных ответов.
