Okko оптимизировал Pulumi для быстрого управления VMware Cloud Director

При переходе на IaC с использованием Pulumi и Python для управления ресурсами в VMware Cloud Director команда Okko столкнулась со значительным увеличением времени предварительного расчёта и применения изменений. Особенно остро проблема проявилась, когда количество объектов в облачной инфраструктуре достигло нескольких тысяч, что критически замедлило цикл разработки и внедрения.

Для диагностики и выявления узких мест инженеры Okko использовали инструмент Jaeger, который помог разобрать выполнение операций и обнаружить многочисленные повторные обращения к API VMware Cloud Director. Это стало основной причиной неэффективности системы.

В качестве решения разработчики внедрили механизм in-memory кэширования для хранения часто запрашиваемых данных, что позволило сократить количество дублирующих запросов к API. Кроме того, была проведена детальная настройка уровня параллельности выполнения операций, что обеспечило более эффективное использование ресурсов и ускорение процессов развёртывания инфраструктуры.