Оптимизация ClickHouse: от 12 часов к 30 минутам обработки миллиардов записей

Исходная задача заключалась в пятикратном ежедневном обогащении многомиллиардных выгрузок данных об остатках продукции дополнительными атрибутами, которые сами исчислялись десятками миллиардов записей. Эти данные критически важны для построения разнообразной аналитики по товарным запасам и перемещениям.

Первоначальная реализация, использующая операцию JOIN в ClickHouse, показала неудовлетворительный результат: один цикл обработки занимал до 12 часов. Это не позволяло оперативно получать актуальные данные для бизнеса.

В результате глубокой оптимизации архитектуры и запросов удалось сократить время выполнения этих операций до 30 минут. Такой прорыв позволяет в 24 раза быстрее формировать аналитические отчёты, что значительно повышает эффективность управления товарным учётом и принятие решений.