ИИ
Datalab представила OmniParseBench для оценки систем распознавания текста
Компания Datalab выпустила OmniParseBench — открытый бенчмарк для проверки систем распознавания текста, включающий 16 288 тестов.
15 октября 2026 г., 02:37·MarkTechPost
#benchmarking
ИИ
Artificial Analysis запустила бенчмарк AA-3D для оценки генерации интерактивных 3D-сцен
Компания Artificial Analysis представила бенчмарк AA-3D, оценивающий способность нейросетей создавать интерактивные 3D-сцены на основе текстовых описаний с помощью кода three.js.
Crypto Briefing
ИИ
MWS AI проверила нейросети на способность выявлять поддельные документы
MWS AI протестировала мультимодальные нейросети на способность распознавать поддельные документы с помощью нового экспериментального набора из 430 изображений.
CNews.ru
ИИ
Бенчмарк LAB-AA для юридического ИИ получил проверку на галлюцинации
Версия 1.1 бенчмарка LAB-AA для оценки юридических ИИ-моделей получила функцию проверки на галлюцинации, подтверждающую точность ссылок на документы.
Crypto Briefing
Деньги
Оценка платформы Arena достигла $3,1 миллиарда после нового раунда инвестиций
Платформа для оценки ИИ-моделей Arena привлекла $200 миллионов при оценке в $3,1 миллиарда, увеличив свою стоимость почти вдвое за 10 месяцев.
TechCrunch
ИИ
Исследование Epoch AI: нейросети пока не способны полностью заменить аналитиков
Новый бенчмарк Epoch AI показал, что ведущие модели Anthropic и OpenAI справляются с исследовательскими задачами на 65%, испытывая трудности с творческим суждением и стилем.
Crypto Briefing
Деньги
Стартап Arena привлек $200 миллионов и запустил индекс безопасности ИИ
Стартап Arena привлек $200 миллионов при оценке в $2,88 миллиарда и представил индекс для оценки безопасности ИИ-агентов.
Crypto Briefing
ИИ
Бенчмарк для оценки эффективности моделей принятия решений
Разработан бенчмарк для оценки качества, скорости и стоимости работы специализированных моделей принятия решений в реальных задачах.
Хабр
ИИ
Анализ корпусов данных для тестирования ИИ-шлюзов маскирования
Исследователи проанализировали возможности различных корпусов данных для тестирования ИИ-шлюзов, подчеркнув необходимость сочетания внешних бенчмарков с проверкой работы агентов.
Хабр
ИИ
Исследование Стэнфорда: одиночные ИИ-агенты эффективнее командных систем
Новое исследование Стэнфорда показало, что одиночные ИИ-координаторы работают эффективнее команд агентов при распределении ресурсов.
Crypto Briefing
ИИ
MWS AI открыла инструмент для оценки качества систем распознавания речи
Подразделение MWS AI выпустило открытый инструмент RESON для оценки качества систем распознавания речи и опубликовало бенчмарк с 38 часами аудиоданных.
CNews.ru
ИИ
CheatBench от CAIS: новый инструмент для выявления манипуляций со стороны ИИ
Центр безопасности ИИ представил бенчмарк CheatBench для измерения склонности нейросетей к манипуляции результатами тестов ради получения высоких оценок.
Crypto Briefing
ИИ
Grok 4.7 возглавил новый рейтинг ИИ-решений для кибербезопасности
Модель Grok 4.7 от SpaceXAI заняла первое место в рейтинге Artificial Analysis Cyber Index с результатом 56 баллов при стоимости $11,67 за выполнение одной задачи.
Crypto Briefing
ИИ
Выбор LLM: как собрать собственный бенчмарк для оценки моделей
Исследователи создали собственный бенчмарк для оценки LLM при работе с базами данных, выявив разброс в качестве ответов и стоимости прогонов от $0,12 до $4,94.
Хабр
ИИ
Datalab представила OmniExtractBench для стандартизации оценки извлечения данных
Компания Datalab представила OmniExtractBench — открытый бенчмарк для стандартизации оценки систем извлечения данных, призванный повысить прозрачность сравнения различных решений.
MarkTechPost
ИИ
Исследование Nvidia: ИИ-модели теряют точность при работе с длинными задачами
Новое исследование Nvidia показало, что точность ИИ-моделей падает в среднем на 62,8% при выполнении длинных задач, что указывает на серьезные ограничения в надежности современных систем.
Crypto Briefing
ИИ
WebPageBench: новый инструмент для оценки веб-агентов
WebPageBench предлагает среду для тестирования ИИ-агентов на русскоязычных сайтах-имитациях с оценкой по логам событий.
Хабр
ИИ
Anthropic представила модель Claude Sonnet 5.5 с неоднозначными показателями эффективности
Компания Anthropic выпустила модель Claude Sonnet 5.5, производительность которой приближается к уровню Opus 5.5, однако данные о потреблении токенов разнятся в зависимости от задач.
BeInCrypto
ИИ
Artificial Analysis представила индекс для оценки ИИ в сфере кибербезопасности
Платформа Artificial Analysis представила Cyber Index (v1) для оценки эффективности ИИ-моделей в поиске и устранении уязвимостей корпоративных систем.
Crypto Briefing
ИИ
Google Research представила бенчмарк MSEB для оценки аудиомоделей
Google Research представила бенчмарк MSEB — структурированную платформу для оценки аудиомоделей, включающую стандартизированные типы данных, интерфейсы кодировщиков и модули для анализа результатов.
MarkTechPost
