Открыть сервисСервис

Presto — язык запросов для больших данных

Presto — это распределённая SQL-система запросов для обработки больших данных, разработанная компанией Facebook (продукт Meta, признанной экстремистской и запрещённой в РФ) (ныне Meta) для интерактивного анализа данных в масштабе петабайтов. Presto позволяет выполнять запросы к данным, хранящимся в различных источниках — Hadoop-кластерах, реляционных базах данных, объектных хранилищах — без предварительного переноса и преобразования данных. Система ориентирована на высокую скорость отклика и масштабируемость, что делает её популярной в индустрии больших данных.

История

Разработка Presto началась в 2012 году в компании Facebook. Изначально проект создавался для внутренних нужд: инженерам Facebook требовался инструмент для интерактивного анализа данных, который работал бы быстрее существовавших на тот момент решений на основе MapReduce. В ноябре 2013 года Facebook открыла исходный код Presto под лицензией Apache 2.0.

В 2019 году компания Facebook переименовала свой форк Presto в PrestoDB, а исходный код Presto был передан в новую организацию Presto Foundation. В том же году на основе Presto был создан проект PrestoSQL (позднее переименованный в Trino), который разрабатывался бывшими разработчиками Presto из Teradata. Оба проекта продолжают активно развиваться, хотя и независимо друг от друга.

Устройство

Архитектура Presto основана на кластере, состоящем из нескольких типов узлов:

  • Координатор (coordinator) — принимает запросы от клиентов, разбирает их, строит план выполнения и распределяет задачи по рабочим узлам.
  • Рабочие узлы (workers) — выполняют вычислительные задачи и обмениваются промежуточными результатами.
  • Коннекторы (connectors) — модули, обеспечивающие доступ к различным источникам данных.

Presto не хранит данные самостоятельно. Вместо этого система использует коннекторы, которые предоставляют доступ к данным в их исходном месте хранения. Среди поддерживаемых источников — HDFS, Amazon S3, Apache Hive, MySQL, PostgreSQL, Cassandra, Elasticsearch, Kafka и другие.

Запросы в Presto написаны на стандартизированном диалекте SQL и выполняются в памяти (in-memory) с использованием потоковой обработки данных. Это позволяет системе обрабатывать большие объёмы данных без необходимости их предварительного материализации.

Применение

Presto широко используется в индустрии для интерактивного анализа данных, построения дашбордов и выполнения ad-hoc запросов. Среди известных пользователей — Airbnb, Netflix, Uber, Twitter, Lyft, а также ряд российских компаний, работающих с большими данными.

В России Presto и его форки применяются в финтехе, телекоммуникациях и интернет-компаниях для аналитики в реальном времени. Проект Trino (бывший PrestoSQL) также получил распространение в российских ИТ-компаниях.

Сравнение с аналогами

ПараметрPrestoApache HiveApache Spark SQL
Модель обработкиIn-memory, потоковаяMapReduce/TezIn-memory/DAG
Скорость откликаВысокаяСредняяСредняя
Хранение данныхНетHDFSHDFS/S3
SQL-диалектСтандартизированныйHiveQLSQL

Интересные факты

  • Presto был создан для замены медленных запросов на Hive в Facebook, где на момент запуска обрабатывалось более 300 петабайт данных.
  • Название Presto взято из музыкальной терминологии — «престо» означает «быстро» в итальянском языке.
  • Presto поддерживает выполнение запросов к данным в нескольких источниках одновременно (federated queries), что позволяет объединять данные из разных систем без их копирования.

Источники

  • Presto Documentation. — Доступно на сайте prestodb.io.
  • Presto: SQL on Everything. — Facebook Engineering Blog, 2013.
  • Trino: The Definitive Guide. — O'Reilly Media, 2021.
  • Apache Hive Documentation. — apache.org.
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru