Подразделение Scale Labs и стартап бывшего исследователя Google DeepMind представили бенчмарк Humanity's Sixth Sense. Инструмент проверяет способность ИИ распознавать неявные сигналы на фото и видео. Тест включает 522 задания: 288 статичных сцен и 234 видеофрагмента. Модели оценивают ситуации, требующие интуиции, например, оценку зазора для проезда авто или намерения людей в кадре.
В испытаниях участвовали 25 актуальных мультимодальных моделей. Люди-тестировщики показали точность 93,1%. Лучший результат среди ИИ у GPT-6 Astra — 53,6%. Модели GPT-6.1 Sol и Claude Opus 5.5 набрали 46,6% и 44,6% соответственно. Медианный показатель по всей выборке составил 30,9%, что немногим выше случайного выбора.
Анализ более 8 500 ошибок показал, что 94% из них вызваны особенностями компьютерного зрения: модели не замечают визуальные маркеры и теряют контекст. На логические ошибки пришлось лишь 5%. Увеличение вычислительного бюджета до 4 000 токенов на ответ не помогло, а иногда даже снижало точность. Эмуляция фокусировки через обрезку кадров также оказалась неэффективной.
Вывод Scale Labs гласит, что масштабирование логического вывода не способно компенсировать архитектурные ограничения базового компьютерного зрения. Текущие подходы к обучению моделей не позволяют им полноценно считывать визуальную информацию на уровне человека.
