Presto — язык запросов для больших данных¶
Presto — это распределённая SQL-система запросов для обработки больших данных, разработанная компанией Facebook (продукт Meta, признанной экстремистской и запрещённой в РФ) (ныне Meta) для интерактивного анализа данных в масштабе петабайтов. Presto позволяет выполнять запросы к данным, хранящимся в различных источниках — Hadoop-кластерах, реляционных базах данных, объектных хранилищах — без предварительного переноса и преобразования данных. Система ориентирована на высокую скорость отклика и масштабируемость, что делает её популярной в индустрии больших данных.
¶История
Разработка Presto началась в 2012 году в компании Facebook. Изначально проект создавался для внутренних нужд: инженерам Facebook требовался инструмент для интерактивного анализа данных, который работал бы быстрее существовавших на тот момент решений на основе MapReduce. В ноябре 2013 года Facebook открыла исходный код Presto под лицензией Apache 2.0.
В 2019 году компания Facebook переименовала свой форк Presto в PrestoDB, а исходный код Presto был передан в новую организацию Presto Foundation. В том же году на основе Presto был создан проект PrestoSQL (позднее переименованный в Trino), который разрабатывался бывшими разработчиками Presto из Teradata. Оба проекта продолжают активно развиваться, хотя и независимо друг от друга.
¶Устройство
Архитектура Presto основана на кластере, состоящем из нескольких типов узлов:
- Координатор (coordinator) — принимает запросы от клиентов, разбирает их, строит план выполнения и распределяет задачи по рабочим узлам.
- Рабочие узлы (workers) — выполняют вычислительные задачи и обмениваются промежуточными результатами.
- Коннекторы (connectors) — модули, обеспечивающие доступ к различным источникам данных.
Presto не хранит данные самостоятельно. Вместо этого система использует коннекторы, которые предоставляют доступ к данным в их исходном месте хранения. Среди поддерживаемых источников — HDFS, Amazon S3, Apache Hive, MySQL, PostgreSQL, Cassandra, Elasticsearch, Kafka и другие.
Запросы в Presto написаны на стандартизированном диалекте SQL и выполняются в памяти (in-memory) с использованием потоковой обработки данных. Это позволяет системе обрабатывать большие объёмы данных без необходимости их предварительного материализации.
¶Применение
Presto широко используется в индустрии для интерактивного анализа данных, построения дашбордов и выполнения ad-hoc запросов. Среди известных пользователей — Airbnb, Netflix, Uber, Twitter, Lyft, а также ряд российских компаний, работающих с большими данными.
В России Presto и его форки применяются в финтехе, телекоммуникациях и интернет-компаниях для аналитики в реальном времени. Проект Trino (бывший PrestoSQL) также получил распространение в российских ИТ-компаниях.
¶Сравнение с аналогами
| Параметр | Presto | Apache Hive | Apache Spark SQL |
|---|---|---|---|
| Модель обработки | In-memory, потоковая | MapReduce/Tez | In-memory/DAG |
| Скорость отклика | Высокая | Средняя | Средняя |
| Хранение данных | Нет | HDFS | HDFS/S3 |
| SQL-диалект | Стандартизированный | HiveQL | SQL |
¶Интересные факты
- Presto был создан для замены медленных запросов на Hive в Facebook, где на момент запуска обрабатывалось более 300 петабайт данных.
- Название Presto взято из музыкальной терминологии — «престо» означает «быстро» в итальянском языке.
- Presto поддерживает выполнение запросов к данным в нескольких источниках одновременно (federated queries), что позволяет объединять данные из разных систем без их копирования.
¶Источники
- Presto Documentation. — Доступно на сайте prestodb.io.
- Presto: SQL on Everything. — Facebook Engineering Blog, 2013.
- Trino: The Definitive Guide. — O'Reilly Media, 2021.
- Apache Hive Documentation. — apache.org.
