Hortonworks

Hortonworks — американская компания, занимавшаяся разработкой и поддержкой решений на основе экосистемы Apache Hadoop, включая одноимённую дистрибуцию Hortonworks Data Platform (HDP). Компания была основана в 2011 году и являлась одним из ключевых поставщиков коммерческих дистрибутивов Hadoop наряду с Cloudera и MapR. В 2019 году Hortonworks объединилась с Cloudera в рамках сделки по слиянию.

История

Основание и ранние годы (2011—2013)

Компания Hortonworks была основана в июне 2011 года группой инженеров, ранее работавших в Yahoo! над развитием Apache Hadoop. Среди основателей были Эрик Балдесвилер (Eric Baldeschwieler), Ардал Чешмалсаз (Ardhal Chashmalasaz) и другие ключевые разработчики, участвовавшие в создании Hadoop в Yahoo!. Название компании происходит от названия города Хортон (Horton) в штате Канзас, США, где, по легенде, впервые была применена технология распределённых вычислений для обработки больших данных.

Первоначально Hortonworks позиционировалась как компания, предоставляющая исключительно открытые решения (open-source), в отличие от конкурентов, предлагавших проприетарные дополнения. Основным продуктом стала дистрибуция Hortonworks Data Platform (HDP), которая включала полный набор компонентов экосистемы Hadoop (HDFS, MapReduce, YARN, Hive, HBase, Spark, Kafka и другие) и была сертифицирована для работы в корпоративных средах.

Развитие и IPO (2014—2017)

В 2014 году компания провела первичное публичное размещение акций (IPO) на Нью-Йоркской фондовой бирже (NYSE) под тикером HDP. Средства от IPO были направлены на расширение команды разработчиков, маркетинг и развитие партнёрской сети. Hortonworks активно сотрудничала с крупными поставщиками облачных услуг, включая Microsoft Azure, Amazon Web Services (AWS) и Google Cloud Platform (GCP), предлагая HDP как управляемый сервис.

К 2015 году Hortonworks стала одним из крупнейших контрибьюторов кода в проекты Apache Hadoop, уступая лишь Cloudera. Компания также разработала и поддерживала ряд собственных проектов, таких как Apache Ambari (инструмент управления кластерами), Apache Atlas (управление метаданными) и Apache Ranger (безопасность и контроль доступа).

Слияние с Cloudera (2018—2019)

В октябре 2018 года Hortonworks и Cloudera объявили о слиянии, которое было завершено в январе 2019 года. Сделка была структурирована как обмен акциями: акционеры Hortonworks получили 1,305 акций Cloudera за каждую свою акцию. Объединённая компания сохранила название Cloudera и штаб-квартиру в Пало-Альто, Калифорния. На момент слияния совокупная выручка двух компаний составляла около 720 миллионов долларов США, а число клиентов превышало 2000.

После слияния продукты Hortonworks (HDP, HDF — Hortonworks DataFlow) были интегрированы в единую платформу Cloudera Data Platform (CDP). Поддержка старых версий HDP была прекращена в 2020 году.

Продукты и технологии

Hortonworks Data Platform (HDP)

HDP — основная дистрибуция Hadoop, включавшая следующие ключевые компоненты:

• HDFS — распределённая файловая система для хранения больших объёмов данных.
• YARN — платформа управления ресурсами и планирования заданий.
• MapReduce — модель программирования для параллельной обработки данных.
• Apache Hive — система управления данными на основе SQL для работы с хранилищами данных.
• Apache HBase — распределённая NoSQL база данных, работающая поверх HDFS.
• Apache Spark — движок для обработки данных в оперативной памяти.
• Apache Kafka — платформа для потоковой передачи данных.
• Apache Storm — система обработки потоков данных в реальном времени.

HDP поставлялась в двух редакциях: бесплатной (Community Edition) и платной (Enterprise Edition), которая включала дополнительные функции мониторинга, безопасности и управления.

Hortonworks DataFlow (HDF)

HDF — платформа для сбора, маршрутизации и анализа потоковых данных в реальном времени. Основой HDF являлся Apache NiFi — инструмент для автоматизации потоков данных между системами. HDF также включала Apache Kafka, Apache Storm и Apache Flink для обработки событий.

Apache Ambari

Ambari — инструмент с открытым исходным кодом для развёртывания, мониторинга и управления кластерами Hadoop. Разработанный Hortonworks, Ambari предоставлял веб-интерфейс для настройки конфигураций, запуска заданий и отслеживания состояния узлов. После слияния с Cloudera поддержка Ambari была прекращена в пользу Cloudera Manager.

Apache Atlas

Atlas — система управления метаданными и классификации данных, разработанная Hortonworks. Atlas позволял организациям отслеживать происхождение данных (data lineage), управлять политиками доступа и соблюдать требования регуляторов (например, GDPR).

Apache Ranger

Ranger — платформа для централизованного управления безопасностью, включающая контроль доступа на основе ролей (RBAC), аудит доступа к данным и шифрование. Ranger интегрировался с HDFS, Hive, HBase, Kafka и другими компонентами экосистемы Hadoop.

Применение

Продукты Hortonworks использовались в различных отраслях для решения задач обработки больших данных:

• Финансовый сектор — анализ транзакций в реальном времени для выявления мошенничества, построение моделей кредитного риска.
• Телекоммуникации — обработка данных о вызовах и трафике для оптимизации сетей, анализ поведения абонентов.
• Розничная торговля — анализ покупательских предпочтений, управление цепочками поставок, прогнозирование спроса.
• Здравоохранение — обработка медицинских записей, геномных данных, анализ эффективности лечения.
• Государственный сектор — обработка данных переписей, управление социальными программами, анализ разведывательной информации.

Критика

Основные претензии к Hortonworks касались сложности развёртывания и управления кластерами Hadoop. Несмотря на наличие Ambari, настройка и эксплуатация распределённых систем требовали высокой квалификации персонала. Кроме того, в ранних версиях HDP наблюдались проблемы с производительностью при работе с большими объёмами данных, что приводило к миграции клиентов на облачные решения (Amazon EMR, Google Dataproc).

Другой критический момент — отсутствие единой платформы для управления данными в реальном времени и пакетной обработки. HDP и HDF были разработаны как отдельные продукты, что усложняло интеграцию потоковых и пакетных процессов.

Наследие

После слияния с Cloudera технологии Hortonworks стали основой для Cloudera Data Platform (CDP), которая объединила лучшие компоненты обеих платформ. CDP предлагает единое решение для гибридных и многоблачных сред, поддерживая как пакетную, так и потоковую обработку данных. Многие проекты, разработанные Hortonworks (Ambari, Atlas, Ranger), продолжают использоваться в сообществе Apache, хотя их активная разработка в рамках коммерческой компании прекращена.

Источники

• Hortonworks, Inc. — Annual Report 2015 (SEC Filing).
• Cloudera, Inc. — Press Release: Cloudera and Hortonworks Merge, 2018.
• Apache Software Foundation — Project Descriptions for Ambari, Atlas, Ranger.
• Gartner — Magic Quadrant for Data Management Solutions for Analytics, 2017.
• «Hadoop: The Definitive Guide» by Tom White (4th Edition), O’Reilly Media, 2015.