Разработана платформа DVT для эффективной работы с большими базами данных
Представлена open-source платформа DVT, предназначенная для визуального ETL, которая позволяет обрабатывать таблицы до 100 миллионов строк без перегрузки памяти и базы данных.
Платформа DVT (Data Virtualization Tool) разработана для упрощения и оптимизации работы с огромными объёмами данных. Её ключевая особенность — возможность построения ETL-пайплайнов через визуальный интерфейс, где операции (чтение, преобразование, запись) представляются в виде узлов. Вычисления происходят на "воркерах", используя библиотеку Dask для распределённых задач.
Особое внимание в DVT уделено модулю чтения из баз данных. Он способен эффективно работать как с небольшими таблицами на 10 тысяч строк, так и с гигантскими — до 100 миллионов записей. При этом поддерживается широкий спектр систем управления базами данных, включая PostgreSQL, MySQL, MariaDB, MS SQL, Oracle, SQLite и ClickHouse.
Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!