Компания Anthropic провела испытания трех предрелизных моделей Claude, включая Opus 5.5, Mythos 5.2 и Mythos 5.1, на предмет планирования синтеза сложных молекул. В ходе слепых тестов, организованных профессорами из Стэнфорда, Йеля и Калтеха, модели успешно разработали полные маршруты синтеза для четырех неопубликованных ранее молекул.
ИИ работал без доступа к интернету и внешней литературе, используя только локальные инструменты, такие как RDKit. В рамках 12 оценок модели предложили маршруты длиной от 10 до 35 шагов, затратив на каждый процесс от 26 до 84 минут. Эксперты оценили результаты работы моделей как сопоставимые с навыками студентов первого курса магистратуры.
Автор исследования Дэвид Камбер отметил, что модели проявили способности к рассуждению и самокоррекции. Тем не менее, в одном из 12 тестов была допущена ошибка из-за неверного считывания химической связи на изображении. Данная работа знаменует переход Anthropic от интерпретации данных к автономному планированию лабораторных стратегий.
Одной из целей исследования была 68-членная макроциклическая молекула с 22 стереоцентрами. Использование неопубликованных данных позволило компании исключить вероятность того, что модели просто воспроизводят заученную информацию из обучающей выборки, что является частой претензией к современным бенчмаркам ИИ.
