Voltron Data

Voltron Data — это американская компания-разработчик программного обеспечения, специализирующаяся на создании инструментов для обработки и анализа больших данных (Big Data), ориентированных на высокую производительность и эффективное использование аппаратных ресурсов, в частности графических процессоров (GPU) и твердотельных накопителей (SSD). Компания известна своим проектом Ibis — переносимой средой для работы с данными, а также вкладом в развитие экосистемы Apache Arrow.

История

Компания Voltron Data была основана в 2021 году группой ведущих разработчиков и исследователей в области обработки данных, ранее работавших в таких компаниях, как Google, Apple, IBM и NVIDIA. Основатели, включая Уэса МакКинни (Wes McKinney, создатель библиотеки pandas) и Джордана Вуда (Jordan Wood), поставили перед собой цель преодолеть разрыв между традиционными инструментами для работы с данными (например, Spark) и современными высокопроизводительными вычислениями. Основной идеей стало создание инфраструктуры, которая позволила бы использовать всю мощь современных аппаратных ускорителей без необходимости в глубоких знаниях низкоуровневого программирования.

В 2022 году компания привлекла значительные инвестиции в размере 110 миллионов долларов США в рамках раунда финансирования Серии A, что стало одним из крупнейших вложений в стартапы в области обработки данных на тот момент. Среди инвесторов выступили такие фонды, как NEA, Dell Technologies Capital и NVIDIA. Полученные средства были направлены на развитие открытого исходного кода, расширение команды и коммерциализацию продуктов.

Ключевые технологии и продукты

Apache Arrow

Voltron Data является одним из главных спонсоров и активных участников развития проекта Apache Arrow. Apache Arrow — это открытая спецификация для колоночного формата данных в памяти, предназначенная для эффективного обмена данными между различными системами обработки. Компания использует Arrow в качестве основы для своих продуктов, что позволяет достичь высокой скорости передачи данных и минимизировать накладные расходы на сериализацию.

Ibis

Ibis — это проект с открытым исходным кодом, предоставляющий единый, переносимый интерфейс для работы с данными на языке Python. Ibis позволяет писать запросы, которые могут выполняться на различных бэкендах: от локальных фреймов данных (pandas, Polars) до распределенных систем (DuckDB, BigQuery, Snowflake) и, что особенно важно, на GPU-ускорителях. Voltron Data активно развивает Ibis, делая его ключевым инструментом для интеграции с высокопроизводительными вычислительными средами.

Voltron Data Enterprise

Коммерческий продукт компании, Voltron Data Enterprise, представляет собой платформу для управления и выполнения рабочих нагрузок по обработке данных. Она включает в себя:

• Оптимизированный движок выполнения на базе Apache Arrow и GPU.
• Инструменты для мониторинга и управления ресурсами.
• Интеграцию с существующими системами (Hadoop, Spark, S3).
• Повышенную безопасность и соответствие требованиям корпоративных стандартов.

Применение

Технологии Voltron Data находят применение в следующих областях:

• Финансовый сектор: обработка транзакций в реальном времени, анализ рисков, алгоритмическая торговля.
• Научные исследования: обработка данных с физических экспериментов (например, с коллайдеров), геномные исследования, климатическое моделирование.
• Промышленность и IoT: анализ потоков данных с датчиков и промышленного оборудования.
• Реклама и маркетинг: обработка больших объемов данных о поведении пользователей для персонализации.

Критика и вызовы

Несмотря на значительный прогресс, технологии Voltron Data сталкиваются с рядом вызовов:

• Сложность внедрения: переход на GPU-ориентированные системы требует переобучения персонала и адаптации существующих процессов.
• Зависимость от аппаратного обеспечения: эффективность решений напрямую зависит от наличия и конфигурации GPU, что может быть дорогостоящим.
• Конкуренция: компания конкурирует с такими гигантами, как Databricks, Snowflake и Google Cloud, которые также активно инвестируют в GPU-ускорение.

Интересные факты

• Название «Voltron Data» отсылает к популярному аниме-сериалу 1980-х годов «Вольтрон», где пять роботов объединялись в одного гигантского. Это символизирует объединение различных технологий и аппаратных ресурсов для достижения единой цели.
• Основатель компании Уэс МакКинни также является автором популярной книги «Python for Data Analysis» и создателем библиотеки pandas, которая является стандартом де-факто для анализа данных на Python.
• Компания активно участвует в развитии стандартов открытого кода, таких как Apache Arrow, и поддерживает сообщество разработчиков.

Источники

• Официальный сайт Voltron Data
• Статья о финансировании в TechCrunch (2022)
• Документация проекта Apache Arrow
• Документация проекта Ibis
• Интервью с Уэсом МакКинни на конференции PyData