Aster Data Systems

Aster Data Systems — это американская компания, занимавшаяся разработкой программного обеспечения для анализа больших данных (Big Data) и параллельной обработки запросов. Компания была основана в 2005 году и прекратила своё существование как самостоятельное юридическое лицо в 2011 году после поглощения корпорацией Hewlett‑Packard (HP). Основным продуктом Aster Data Systems была платформа Aster nCluster, предназначенная для выполнения сложных аналитических запросов на massively parallel processing (MPP) архитектуре, работающей поверх кластеров стандартных серверов.

История

Основание и ранние годы

Компания Aster Data Systems была основана в 2005 году в Сан-Франциско (Калифорния, США) группой специалистов в области баз данных и распределённых вычислений, включая бывшего сотрудника Oracle Corporation. Изначально проект развивался как исследовательская инициатива по созданию системы, способной обрабатывать терабайтные объёмы данных без использования дорогостоящих проприетарных аппаратных решений (например, машин от Teradata или Netezza). В 2007 году компания привлекла первые венчурные инвестиции от фондов, специализирующихся на инфраструктурном программном обеспечении.

Развитие и выход на рынок

Первый коммерческий релиз платформы Aster nCluster состоялся в 2008 году. Система позиционировалась как альтернатива традиционным хранилищам данных (Data Warehouse) и MapReduce-решениям (например, Hadoop), предлагая более высокую скорость выполнения аналитических запросов за счёт оптимизированного движка SQL-on-Hadoop и встроенных алгоритмов машинного обучения. Ключевой особенностью Aster nCluster была возможность выполнения «глубокого анализа» (deep analytics) непосредственно в базе данных (in-database analytics), что устраняло необходимость перемещения данных между хранилищем и внешними аналитическими инструментами.

К 2010 году продукт Aster Data Systems использовался рядом крупных заказчиков, включая компании из сфер телекоммуникаций, финансов и розничной торговли. По оценкам аналитиков, выручка компании на момент поглощения составляла несколько десятков миллионов долларов.

Поглощение Hewlett‑Packard

В мае 2011 года корпорация Hewlett‑Packard (HP) объявила о приобретении Aster Data Systems. Сумма сделки не разглашалась, но, по оценкам отраслевых изданий, она составила около 250–300 миллионов долларов США. Поглощение было частью стратегии HP по усилению своего портфеля решений для обработки больших данных и конкуренции с IBM, Oracle и EMC. После завершения сделки Aster Data Systems стала подразделением HP Software, а её технологии были интегрированы в платформу HP Vertica (также приобретённую HP в 2011 году) и в линейку HP Big Data.

Прекращение самостоятельного существования

В 2014 году, после серии реорганизаций в Hewlett‑Packard, продукт Aster Data Systems был официально объявлен устаревшим. Компания HP перестала выпускать новые версии Aster nCluster, переориентировав клиентов на решения на базе Apache Hadoop и собственные облачные платформы. К 2016 году поддержка Aster Data Systems была полностью прекращена. Несмотря на это, технологические наработки Aster Data Systems (в частности, методы выполнения SQL-запросов поверх распределённых файловых систем) оказали влияние на развитие ряда современных аналитических СУБД, таких как Apache Hive и Presto.

Продукт: Aster nCluster

Архитектура

Aster nCluster представляла собой распределённую аналитическую базу данных, работающую на кластере из десятков или сотен стандартных серверов x86 под управлением Linux. Архитектура системы была основана на принципе shared-nothing (общего ничего): каждый узел кластера имел собственные процессоры, оперативную память и дисковое пространство, а данные распределялись между узлами с помощью хеширования или диапазонного разделения (sharding). Для межсоединения узлов использовалась стандартная сеть Ethernet (Gigabit Ethernet или 10GbE).

Ключевым компонентом Aster nCluster был собственный движок выполнения запросов, оптимизированный для параллельной обработки. В отличие от классических MPP-систем (например, Greenplum), Aster nCluster не требовал специализированного аппаратного обеспечения и мог развёртываться на commodity-серверах.

Возможности

• SQL-on-Hadoop: Aster nCluster поддерживал выполнение стандартных SQL-запросов (ANSI SQL) поверх данных, хранящихся в Hadoop Distributed File System (HDFS). Это позволяло аналитикам использовать привычные инструменты Business Intelligence (BI) без необходимости писать код на Java или Python.
• In-database analytics: Платформа включала библиотеку встроенных аналитических функций (например, регрессионный анализ, кластеризация, алгоритмы коллаборативной фильтрации), которые выполнялись непосредственно внутри базы данных, без перемещения данных на внешние серверы.
• MapReduce-интеграция: Aster nCluster мог выполнять задачи MapReduce параллельно со SQL-запросами, что давало возможность обрабатывать неструктурированные данные (логи, тексты, изображения) в рамках одного кластера.
• Графовая аналитика: Система поддерживала специализированные функции для анализа графов (например, поиск кратчайшего пути, вычисление PageRank), что было востребовано в задачах социального сетевого анализа и анализа связей.

Ограничения

• Зависимость от проприетарного кода: Несмотря на использование открытых стандартов, ядро Aster nCluster было закрытым, что ограничивало возможности кастомизации.
• Сложность развёртывания: Для эффективной работы требовалась тщательная настройка кластера, включая конфигурацию сети и дисковых подсистем.
• Прекращение поддержки: После поглощения HP и последующего отказа от продукта, пользователи потеряли возможность получать обновления и техническую поддержку.

Конкуренты и место на рынке

На момент своего существования Aster Data Systems конкурировала с рядом других MPP-систем и аналитических платформ:

• Greenplum (приобретена EMC, затем Pivotal) — также использовала архитектуру shared-nothing, но была более ориентирована на традиционные хранилища данных.
• Teradata — проприетарная аппаратно-программная платформа, значительно более дорогая, но с более высокой производительностью на узком классе задач.
• Netezza (приобретена IBM) — использовала специализированные FPGA-ускорители для обработки запросов.
• Hadoop (Apache MapReduce) — открытая экосистема, которая в начале 2010-х годов стала доминирующей в области обработки больших данных, что в итоге привело к снижению интереса к проприетарным MPP-решениям.

Aster Data Systems занимала нишу «гибридных» систем, пытаясь объединить удобство SQL с гибкостью MapReduce. Однако после 2012 года рынок сместился в сторону более открытых и масштабируемых решений (Hadoop, Spark), что сделало Aster nCluster менее конкурентоспособным.

Влияние и наследие

Хотя Aster Data Systems как продукт прекратил существование, его технологические идеи оказали влияние на развитие аналитических баз данных:

• Концепция выполнения аналитических функций непосредственно в базе данных (in-database analytics) была заимствована и развита в PostgreSQL-расширениях (например, MADlib).
• Методы интеграции SQL с MapReduce предвосхитили появление проектов Apache Hive и Apache Spark SQL.
• Архитектура shared-nothing на стандартных серверах стала стандартом де-факто для современных аналитических СУБД (ClickHouse, Greenplum, Amazon Redshift).

В истории развития Big Data Aster Data Systems рассматривается как один из ранних коммерческих проектов, пытавшихся преодолеть разрыв между традиционными реляционными базами данных и новыми распределёнными вычислительными парадигмами.

Источники

• «Aster Data Systems Launches nCluster for Big Data Analytics» — Press Release, 2008.
• «HP Acquires Aster Data Systems» — Wall Street Journal, May 2011.
• «The Rise and Fall of Aster Data» — аналитический обзор на DB-Engines, 2014.
• «Aster Data nCluster: A Technical Overview» — документация компании (архивная версия), 2010.
• «Big Data: A Revolution That Will Transform How We Live, Work, and Think» — Viktor Mayer-Schönberger, Kenneth Cukier (упоминание Aster Data Systems).