AWS внедряет SOCI-индексированные образы для ускорения задач SageMaker AI

Новая функция SOCI (Seekable OCI) направлена на оптимизацию процесса запуска задач машинного обучения, ускоряя их запуск до 40%. Это достигается за счет более эффективной загрузки образов контейнеров, используемых для выполнения моделей искусственного интеллекта в SageMaker. Вместо полной загрузки всего образа, SOCI позволяет загружать только необходимые слои и файлы "по запросу", что особенно критично для больших моделей и сложных сред.

Технология SOCI индексирует слои образа контейнера, создавая специальный индекс, который хранится вместе с образом. При запуске задачи SageMaker, среда выполнения может использовать этот индекс для выборочной загрузки данных, не дожидаясь распаковки всего образа. Это не только ускоряет время старта, но и снижает нагрузку на сеть и хранилище, улучшая общую производительность платформы SageMaker.