Дерматолог Магнус Линч сравнил точность диагностики рака кожи у моделей GPT-6 Astra и Claude Fable 5.1 с нейросетью Inception v3 образца 2015 года. Для тестирования использовались 200 образований из набора данных MILK10k (2025 год), каждое из которых имело гистологическое подтверждение диагноза.
Специализированная CNN, дообученная на 68 011 снимках из архива ISIC, верно определила диагноз в 125 случаях из 200 (62%). Результаты передовых LLM оказались ниже: 84 и 85 правильных ответов (42%). При учете двух вариантов ответа CNN показала 173 верных диагноза против 134 и 138 у моделей GPT-6 Astra и Claude Fable 5.1.
В категории меланом CNN распознала 13 из 30 случаев, тогда как LLM — 8 и 11. Наибольший разрыв в точности зафиксирован на доброкачественных образованиях. Исследователь отметил, что LLM склонны к систематическим ошибкам, часто отдавая предпочтение конкретным диагнозам, в то время как узкоспециализированная нейросеть показала более сбалансированные результаты.
Использованная в тесте CNN достаточно компактна для работы в браузере мобильного устройства через WebGPU. Автор исследования подчеркнул, что, несмотря на развитие технологий, специализированные архитектуры десятилетней давности превосходят современные LLM в задачах дерматологической диагностики при анализе клинических и дерматоскопических снимков.
