Агрегирование данных¶

Агрегирование — это объединение множества детализированных данных в сводные показатели с заданным уровнем детализации: суммирование, подсчёт, усреднение, поиск минимума или максимума по набору записей. Термин применяется в информационных системах, базах данных, аналитике, телекоммуникации и вычислительной технике, где исходные данные часто избыточны и требуют сжатия до пригодного для восприятия или обработки вида.

¶Агрегирование в базах данных

В реляционных базах данных агрегирование выполняется с помощью оператора GROUP BY в связке с агрегатными функциями: SUM, COUNT, AVG, MIN, MAX, STDDEV и другими. Запрос группирует строки по значениям определённых столбцов и вычисляет сводное значение по каждой группе.

``sql SELECT region, SUM(amount) AS total FROM sales GROUP BY region; ``

Такой запрос возвращает по одной строке на регион с общей суммой продаж. Агрегирование может выполняться на уровне отдельной таблицы, нескольких связанных таблиц (через JOIN) или результатов подзапросов.

¶Материализованные представления

Для ускорения повторяющихся агрегатных запросов используются материализованные представления — предварительно вычисленные и сохранённые на диске сводные таблицы. Их обновление выполняется либо полностью, либо инкрементально, с пересчётом только изменившихся данных. В СУБД Oracle, PostgreSQL, Microsoft SQL Server и других системах материализованные представления являются штатным средством оптимизации аналитических нагрузок.

¶ОЛAP-системы

В системах онлайн-аналитической обработки (OLAP) агрегирование — центральная операция. Кубы данных (data cubes) хранят предагрегированные показатели по нескольким измерениям (время, регион, продукт и т. д.), что позволяет отвечать на сводные запросы за миллисекунды вместо пересчёта миллионов строк. Существуют схемы «звезда» и «снежинка», в которых факт-таблица окружена таблицами-измерениями, а агрегаты предвычислены по всем сочетаниям измерений.

¶Агрегирование в аналитике и статистике

В прикладной статистике и аналитике данных агрегирование означает сведение наблюдений к обобщённым характеристикам: среднее, медиана, мода, дисперсия, процентили, квантили. Выбор агрегатной функции определяет смысл сводного показателя: среднее чувствительно к выбросам, медиана устойчива к ним, мода отражает наиболее частое значение.

При построении отчётности агрегирование часто сочетается с иерархиями измерений: например, продажи агрегируются с уровня «товар» к уровню «категория», затем к уровню «магазин», затем к уровню «сеть». Такая иерархия позволяет выполнять drill-down (детализацию) и roll-up (обобщение) — стандартные операции OLAP-аналитики.

¶Агрегирование в телекоммуникации

В сетях связи агрегирование означает объединение нескольких каналов или соединений в один логический с более высокой пропускной способностью. Примеры:

• Логические интерфейсы — объединение физических Ethernet-портов в один логический канал (LACP, IEEE 802.3ad) для балансировки нагрузки и отказоустойчивости.
• Агрегация трафика — объединение потоков от множества абонентских линий в магистральном оборудовании (DSLAM, коммутаторы уровня агрегации).
• Мобильные сети — объединение нескольких базовых станций в один узел для оптимизации обработки сигнала.

¶Агрегирование в вычислительной технике

В архитектуре процессоров агрегирование используется при суммировании векторных операций: например, при вычислении свёртки в нейронных сетях или обработке сигналов несколько частичных сумм объединяются в итоговую. В распределённых системах (MapReduce, Apache Spark) агрегирование выполняется в два этапа: локальное на каждом узле, затем глобальное по результатам узлов.

¶Агрегирование в экономике и учёте

В бухгалтерском учёте и экономической статистике агрегирование — сведение первичных записей (проводок, транзакций) в сводные показатели: обороты по счетам, себестоимость, выручка по направлениям. В макроэкономике агрегаты — обобщающие показатели (ВВП, индекс потребительских цен), получаемые из совокупности микроэкономических величин.

¶Проблемы и ограничения

Агрегирование необратимо: по сводным данным невозможно восстановить исходные записи, поэтому агрегаты обычно хранятся параллельно с детализированными данными. Другие ограничения:

• Потеря информации — агрегат скрывает распределение внутри группы (среднее не показывает разброс).
• Проблема Симпсона — агрегированные данные могут указывать на тренд, противоположный тренду в каждой подгруппе.
• Цена вычислений — предагрегация всех возможных сочетаний измерений требует значительного объёма памяти; для широких кубов применяют агрегаты верхнего уровня и вычисляют нижние по мере необходимости.

¶Источники

• К. Дж. Дейт. Введение в системы баз данных
• Р. Рамакришнан, Й. Герке. Базы данных: системы и практика
• М. Гарсия-Молина, Д. Ульман, Дж. Уидом. Системы баз данных. Полный курс
• Стандарт ISO/IEC 9075 (SQL)