MapR

MapR — это бывшая американская компания, разрабатывавшая одноимённую платформу для обработки и хранения больших данных (Big Data) на основе Apache Hadoop и Apache Spark. Платформа MapR позиционировалась как альтернатива классическому дистрибутиву Hadoop от Apache, предлагая улучшенную производительность, встроенную поддержку контейнеризации и собственные проприетарные компоненты, такие как файловая система MapR-FS и база данных MapR-DB. Компания была основана в 2009 году, а в 2019 году прекратила самостоятельное существование, войдя в состав корпорации Hewlett Packard Enterprise (HPE).

История

Основание и ранние годы

Компания MapR Technologies, Inc. была основана в 2009 году в Сан-Хосе (Калифорния, США) выходцами из таких компаний, как Google, Yahoo! и Oracle. Основатели — Мохаммед Ислам (Mohammed Islam), Джон С. К. (John C. K.) и другие — ставили целью создать корпоративную платформу для работы с большими данными, которая была бы быстрее и надёжнее стандартного дистрибутива Apache Hadoop. В отличие от многих стартапов того времени, MapR с самого начала делала ставку на проприетарные технологии, а не только на открытый код.

Рост и развитие (2011–2015)

В 2011 году компания выпустила первую версию своей платформы — MapR M3 (бесплатная версия с ограничениями) и MapR M5 (коммерческая). Ключевым отличием стала собственная файловая система MapR-FS, которая заменила стандартную HDFS (Hadoop Distributed File System). MapR-FS обеспечивала более высокую производительность, поддержку произвольного доступа к данным (не только потокового) и встроенную репликацию без использования NameNode. В 2012 году MapR привлекла $20 млн инвестиций от венчурных фондов, включая NEA и Lightspeed Venture Partners. К 2014 году клиентами MapR стали такие компании, как Comcast, Cisco, Pfizer и другие.

Период зрелости и конкуренция (2015–2018)

В 2015 году MapR выпустила версию 5.0, которая включала интеграцию с Apache Spark, поддержку контейнеризации (Docker) и собственную базу данных MapR-DB (NoSQL, совместимая с HBase API). Платформа стала позиционироваться как «конвергентная платформа данных» (converged data platform), объединяющая обработку потоков, пакетную обработку, хранение и аналитику. В этот период MapR конкурировала с такими гигантами, как Cloudera и Hortonworks (позже объединившимися в Cloudera), а также с облачными сервисами Amazon EMR и Google Cloud Dataproc. Несмотря на технологические преимущества, MapR не смогла достичь масштабов выручки, сопоставимых с конкурентами.

Финансовые трудности и поглощение (2019)

В 2019 году компания столкнулась с серьёзными финансовыми проблемами. В феврале 2019 года MapR объявила о привлечении $56 млн в рамках раунда финансирования, но уже в мае того же года появились слухи о возможной продаже. В августе 2019 года Hewlett Packard Enterprise (HPE) объявила о приобретении активов MapR Technologies за нераскрытую сумму (по оценкам, около $50–100 млн). Сделка была закрыта в сентябре 2019 года. После этого платформа MapR была интегрирована в портфель HPE, а самостоятельная разработка и поддержка оригинального дистрибутива прекратилась. Часть технологий MapR (в частности, MapR-FS и MapR-DB) легли в основу продукта HPE Ezmeral Data Fabric.

Архитектура и ключевые компоненты

MapR-FS (файловая система)

Основное отличие MapR от стандартного Hadoop — собственная файловая система MapR-FS. В отличие от HDFS, которая требует отдельного NameNode для управления метаданными, MapR-FS использует распределённую архитектуру без единой точки отказа. Ключевые особенности:

• Отсутствие NameNode: метаданные хранятся распределённо на всех узлах кластера, что повышает отказоустойчивость.
• Произвольный доступ: поддержка операций чтения и записи в произвольном порядке (не только потоковых), что позволяло использовать MapR-FS для баз данных и приложений реального времени.
• Высокая производительность: по заявлениям компании, скорость записи и чтения была в 2–5 раз выше, чем у HDFS.
• Сжатие и шифрование: встроенная поддержка сжатия на уровне блоков и шифрования данных.

MapR-DB (база данных)

MapR-DB — это NoSQL-база данных, совместимая с API Apache HBase и Apache Cassandra. Она работала поверх MapR-FS, что обеспечивало ей высокую производительность и отказоустойчивость. Поддерживала:

• Модель данных «ключ-значение» и широкие столбцы.
• Транзакции ACID (в ограниченном объёме).
• Поддержку JSON и SQL-запросов через Apache Drill.

MapR Streams (потоковая обработка)

MapR Streams — это встроенная система обмена сообщениями, совместимая с Apache Kafka. Она позволяла обрабатывать потоки данных в реальном времени без необходимости развёртывания отдельного кластера Kafka. Интегрировалась с Apache Spark Streaming, Apache Flink и другими фреймворками.

Интеграция с Apache Spark и Hadoop

Платформа MapR поддерживала все основные компоненты экосистемы Hadoop: Apache Spark, Apache Hive, Apache Pig, Apache HBase, Apache Drill, Apache Sqoop и другие. При этом MapR предлагала собственную версию этих компонентов, оптимизированную для работы с MapR-FS и MapR Streams.

Применение

MapR использовалась в различных отраслях для решения задач, связанных с большими данными:

• Финансовый сектор: анализ транзакций в реальном времени, обнаружение мошенничества, управление рисками.
• Телекоммуникации: обработка данных о звонках и трафике, построение рекомендательных систем.
• Здравоохранение: анализ медицинских изображений, обработка геномных данных.
• Промышленность: сбор и анализ данных с датчиков (IoT), прогнозирование отказов оборудования.
• Розничная торговля: анализ поведения покупателей, управление цепочками поставок.

Конкуренция и рыночная позиция

На рынке дистрибутивов Hadoop MapR конкурировала с:

• Cloudera (включая CDH — Cloudera Distribution for Hadoop).
• Hortonworks (HDP — Hortonworks Data Platform).
• Amazon EMR (облачный сервис).
• Google Cloud Dataproc.
• Microsoft Azure HDInsight.

По оценкам аналитиков (Gartner, IDC), доля MapR на рынке дистрибутивов Hadoop в 2017–2018 годах составляла около 5–10%, уступая Cloudera и Hortonworks. Основным преимуществом MapR считалась производительность и отказоустойчивость, а недостатком — более высокая стоимость лицензий и меньшая популярность в сообществе разработчиков.

Критика

Критика MapR была связана с несколькими аспектами:

• Проприетарность: значительная часть кода (включая MapR-FS и MapR-DB) была закрытой, что вызывало опасения у некоторых клиентов относительно vendor lock-in (зависимости от одного поставщика).
• Сложность миграции: переход с классического Hadoop на MapR требовал переписывания части приложений из-за различий в API и архитектуре.
• Ценообразование: коммерческие лицензии MapR были дороже, чем у конкурентов, особенно для небольших компаний.
• Нестабильность компании: финансовые трудности и последующее поглощение HPE создали неопределённость для клиентов, которые использовали платформу в production-средах.

Наследие

После поглощения HPE технологии MapR были интегрированы в продукт HPE Ezmeral Data Fabric, который предлагает распределённое хранение и обработку данных в гибридных облачных средах. Оригинальный дистрибутив MapR больше не поддерживается, однако сообщество пользователей и некоторые компании продолжают использовать его в legacy-системах. В 2020 году HPE выпустила версию MapR 6.2 под своим брендом, но дальнейшая разработка ведётся в рамках Ezmeral.

Источники

• Официальный сайт MapR (архивные копии, 2019 год).
• Пресс-релизы Hewlett Packard Enterprise о приобретении MapR (2019).
• Статьи в изданиях ZDNet, TechCrunch, Silicon Angle за 2015–2019 годы.
• Документация HPE Ezmeral Data Fabric (2020–2023).
• Аналитические отчёты Gartner и IDC по рынку больших данных (2017–2019).