Проект интеграции DATAREON Platform с системой «Честный знак» потребовал обработки миллионов кодов маркировки. Система получает данные через REST API, сохраняет их в PostgreSQL и ежедневно актуализирует статусы записей.
При объеме базы в 90 млн строк вычисление актуальной версии записи «на лету» стало узким местом: выборка 1000 объектов занимала более 50 секунд. Разработчики перешли на явное хранение признака актуальности через поле is_current.
Для ускорения работы добавили частичные индексы PostgreSQL и распараллелили обработку между 10 воркерами. Использование механизма FOR UPDATE SKIP LOCKED позволило воркерам одновременно забирать разные пачки данных без дублирования.
Проблему с дублированием токенов авторизации решили через singleton-семантику: воркеры обновляют одну служебную запись с фиксированным EntityId вместо создания новых. Это исключило появление лишних записей в Банке данных.
Комплекс мер, включая оптимизацию индексов и параллельную обработку, позволил довести производительность системы до 1,1–1,2 млн объектов в час.
