Автор разработал двухпоточную модель для определения стадии диабетической ретинопатии на базе набора данных RetinaMNIST, включающего 1600 снимков глазного дна. Данные разделены на 1080 тренировочных, 120 валидационных и 400 тестовых изображений, распределенных по пяти стадиям согласно шкале ICDR.
Архитектура объединяет визуальный энкодер EfficientNet-B2 и табличную ветку для обработки четырех клинических показателей: HbA1c, стажа диабета, систолического давления и возраста. Эти данные были сгенерированы синтетически на основе истинных меток стадий, что привело к утечке целевой переменной в модель.
Первоначальный запуск показал метрику QWK 0.834. Однако контрольный эксперимент только на снимках дал QWK 0.713. Логистическая регрессия, обученная исключительно на синтетических клинических признаках, достигла QWK 0.816, что подтвердило использование моделью подсказок вместо анализа изображений.
Обучение проводилось с использованием AdamW, AMP FP16 и аугментаций Albumentations. Модель, работающая только с изображениями, обучалась на Tesla T4 в течение 199,1 секунды, показав на тесте QWK 0.7129 и Macro AUC 0.8070. Автор отмечает высокую шумность валидационной выборки и неустойчивость метрик.
Автор рекомендует проверять клинические данные, обучая отдельный baseline на табличных признаках. Если такая модель почти догоняет мультимодальную, значит, табличные данные содержат утечку. Также предложено избегать обнуления входов при абляции и использовать для сравнения независимые модели.
