Специалисты MIT, Массачусетской больницы общего профиля и Гарвардской медицинской школы представили ИИ-модель FleXray. Система распознает 60 анатомических структур на рентгеновских снимках, включая кости таза, позвонки и ребра. Модель работает с различными проекциями, снимками детей и взрослых, а также с данными рентгеноскопии.
В ходе испытаний на 213 снимках рентгеноскопии интеграция FleXray с алгоритмами совмещения с КТ снизила медианную ошибку с 335 до 1,2 мм. Доля неудачных попыток сопоставления сократилась с 86% до 13%. В основе решения лежит сверточная нейросеть U-Net, при этом для повышения точности можно объединять предсказания пяти моделей.
На восьми наборах реальных снимков FleXray показала средний коэффициент Dice 0,875, обойдя специализированные аналоги PAXray и FluoroSAM в семи случаях. При оценке сколиоза модель определила угол Кобба со средней абсолютной ошибкой 5,13 градуса, превзойдя результат TotalSegmentator2D в 6,38 градуса. FleXray также применима для сегментации детской анатомии и обнаружения опухолей.
Для обучения разработчики использовали синтетические рентгеновские изображения, созданные на базе КТ-снимков с добавлением реалистичных шумов и эффектов через модель FLUX.2. Обработка данных происходит непосредственно на устройстве пользователя с использованием WebGPU или WebAssembly, что позволяет использовать систему без передачи данных на сторонние серверы.
