Библиотека pyrusmorph интегрирует нативное C++ ядро libmorph/rus для ускорения морфологического анализа русскоязычных текстов в Python. Использование сериализованных радиксных деревьев и отказ от динамического выделения памяти обеспечивают прирост производительности в 25–30 раз по сравнению с библиотеками семейства PyMorphy.
Ядро libmorph/rus, развивающееся на протяжении 30 лет, хранит словарь в непрерывном блоке объемом 2 МБ. Это позволяет эффективно использовать кэш процессора и поддерживать стабильное потребление памяти. В ходе тестов на C++ производительность анализа превысила 1,3 миллиона слов в секунду.
Сравнительное тестирование проводилось на корпусе объемом 4 МБ, содержащем 405 000 слов. Несмотря на то, что Python-обертка дает двукратное замедление относительно нативного C++ кода, итоговая скорость обработки существенно превосходит стандартные решения для Python-среды.
Инструмент поддерживает лемматизацию, эвристический анализ, генерацию словоформ и поиск по шаблонам. Библиотека доступна для установки через pip, исходный код проекта размещен в репозитории libmorph на GitHub.
