Проект по созданию корпуса крымскотатарского языка столкнулся с отсутствием готовых датасетов. Большая часть материалов существовала в виде сканов или аудиозаписей без текста. Для обучения моделей потребовалось извлечь текстовый слой из PDF и создать пары «звук — текст». Оказалось, что 79% страниц уже имели цифровой слой, не требующий распознавания.
Для очистки данных были применены автоматические алгоритмы. Исправлены механические ошибки OCR, вызванные обучением на русском языке, и ошибки кодировки в латинских текстах. Дубликаты, составлявшие 7,0% от общего объема, были удалены путем сравнения шинглов. В результате объем пригодного для обучения текста увеличился примерно в десять раз.
Качество страниц оценивалось через словарь с использованием правила префиксов и анализа мусорных символов. Это позволило отсеять некачественные материалы. Разработчик также выявил проблему «турецкого влияния» в периодике, где крымскотатарский текст записывался по турецким правилам. Для этого были созданы детекторы, выявляющие нехарактерные для языка формы.
Попытки автоматической нормализации турецких форм в крымскотатарские были признаны неудачными, так как они создавали слова с неверным значением. В итоге спорные фрагменты были помещены в карантин для ручной проверки. Диалектные формы, совпадающие с турецкими, решено было оставить в корпусе, так как они являются частью живого языка.
