Микроагрегация

Микроагрегация — это метод статистического контроля раскрытия данных, заключающийся в замене исходных записей в наборе данных на небольшие группы (агрегаты) схожих по характеристикам объектов с последующей заменой индивидуальных значений на средние по группе или другие обобщённые показатели. Относится к классу методов маскирования данных (perturbation-based masking) и используется для обеспечения анонимности при публикации микроданных, например, в официальной статистике, медицинских исследованиях или социологических опросах.

История и контекст

Метод микроагрегации был разработан в конце 1980-х — начале 1990-х годов в рамках работ по статистическому контролю раскрытия (Statistical Disclosure Control, SDC). Основной задачей SDC является предотвращение идентификации конкретного индивида или организации по опубликованным статистическим данным, особенно при выпуске так называемых микроданных — записей, содержащих информацию о каждом отдельном респонденте.

Первые формальные описания метода принадлежат учёным в области статистики и защиты данных, в частности, Дж. Доминго-Ферреру и В. Торре. В 1990-х годах микроагрегация получила развитие как альтернатива таким методам, как подавление (suppression), обобщение (generalization) и добавление шума (noise addition). В отличие от обобщения, которое заменяет точные значения на диапазоны или категории, микроагрегация сохраняет числовую природу данных, что делает её особенно ценной для анализа непрерывных переменных (доход, возраст, вес).

В настоящее время микроагрегация является одним из стандартных методов, рекомендованных национальными статистическими ведомствами, в том числе Росстатом (в рамках методологии защиты статистической информации) и Евростатом.

Принцип работы

Основная идея микроагрегации заключается в группировке записей данных по принципу близости (схожести) с последующей заменой индивидуальных значений на средние (или медианные) значения по группе. Процесс состоит из трёх этапов:

1. Разбиение на группы (кластеризация). Все записи в наборе данных упорядочиваются по одному или нескольким ключевым признакам (например, по возрасту или доходу). Затем записи объединяются в группы фиксированного размера (обычно от 3 до 5 записей). Группы формируются таким образом, чтобы внутри каждой группы записи были максимально похожи, а между группами — максимально различны.
2. Вычисление агрегированных значений. Для каждой группы рассчитывается среднее арифметическое (или медиана) по каждому числовому признаку. Категориальные переменные могут заменяться на моду (наиболее частое значение) или объединяться в более общие категории.
3. Замена исходных данных. Исходные значения каждой записи заменяются на вычисленные средние по её группе. В результате все записи внутри одной группы становятся идентичными по заменённым признакам.

Пример

Допустим, имеются три записи о доходах: 25 000, 27 000 и 29 000 рублей. После микроагрегации с размером группы 3 все три записи будут заменены на среднее значение — 27 000 рублей. Внешнему аналитику станет известно, что три человека имеют доход 27 000 рублей, но будет невозможно определить, кто из них зарабатывал 25 000, а кто — 29 000.

Классификация методов микроагрегации

Методы микроагрегации различаются по способу разбиения на группы (алгоритму кластеризации) и по размеру групп.

По алгоритму кластеризации

• Одномерная микроагрегация. Применяется к одному признаку. Записи сортируются по этому признаку, после чего разбиваются на последовательные группы. Самый простой и быстрый метод, но он не учитывает взаимосвязи между разными переменными.
• Многомерная микроагрегация. Учитывает несколько признаков одновременно. Используются алгоритмы кластеризации, такие как k-средних (k-means), иерархическая кластеризация или метод ближайшего соседа. Наиболее распространённый подход — микроагрегация на основе k-ближайших соседей (k-nearest neighbors, k-NN), где каждая запись объединяется с k-1 ближайшими к ней записями в многомерном пространстве признаков.
• Проекционная микроагрегация. Сначала данные проецируются на одномерное пространство с помощью методов снижения размерности (например, анализа главных компонент, PCA), после чего применяется одномерная микроагрегация.

По размеру групп

• Фиксированный размер группы. Все группы имеют одинаковый размер k (обычно k = 3, 4 или 5). Это стандартный подход, рекомендованный статистическими ведомствами.
• Переменный размер группы. Размер групп может варьироваться в зависимости от плотности данных. Например, в областях с высокой плотностью записи могут объединяться в более мелкие группы, а в разреженных областях — в более крупные. Это позволяет уменьшить потерю информации, но усложняет анализ.

Применение

Микроагрегация широко используется в областях, где требуется публикация микроданных при сохранении конфиденциальности:

• Официальная статистика. Национальные статистические службы применяют микроагрегацию при выпуске обезличенных массивов данных переписей населения, обследований доходов и расходов домохозяйств. Например, Росстат использует микроагрегацию в рамках методики защиты данных микропереписей.
• Медицина и здравоохранение. В публикациях данных клинических испытаний или эпидемиологических исследований микроагрегация позволяет скрыть индивидуальные характеристики пациентов (возраст, вес, показатели анализов) без потери общей статистической структуры.
• Социологические исследования. При публикации результатов опросов микроагрегация защищает респондентов от идентификации по комбинации редких признаков (например, «мужчина, 85 лет, профессия — космонавт»).
• Финансовый сектор. Банки и кредитные организации используют микроагрегацию для обезличивания данных клиентов перед передачей их аналитическим платформам или регуляторам.

Достоинства и недостатки

Достоинства

• Простота реализации. Алгоритмы микроагрегации относительно просты и не требуют сложных вычислений.
• Сохранение структуры данных. В отличие от добавления случайного шума, микроагрегация сохраняет средние значения и распределения признаков, что позволяет проводить корректный статистический анализ на агрегированных данных.
• Устойчивость к атакам. При правильном выборе размера группы микроагрегация делает невозможным точное восстановление исходных значений отдельных записей.

Недостатки

• Потеря информации. Замена индивидуальных значений на средние по группе приводит к потере вариативности внутри групп. Это может искажать результаты анализа, особенно при малых размерах выборки.
• Чувствительность к выбору размера группы. Слишком маленькие группы (k=2) не обеспечивают достаточной защиты, слишком большие (k>10) — приводят к значительному искажению данных.
• Зависимость от порядка сортировки. При одномерной микроагрегации результат может зависеть от того, как отсортированы записи (например, по возрастанию или убыванию).
• Неприменимость к категориальным данным. Для категориальных переменных микроагрегация менее эффективна, и часто требуется комбинация с другими методами (например, обобщением).

Сравнение с другими методами

Микроагрегация часто сравнивается с другими методами SDC:

Микроагрегация занимает промежуточное положение: она обеспечивает разумный баланс между защитой конфиденциальности и сохранением полезности данных для анализа.

Интересные факты

• В 2010-х годах микроагрегация была предложена как один из методов для защиты данных в системах «умных городов» (smart cities), где собираются большие объёмы персональных данных от датчиков и устройств IoT.
• В некоторых странах (например, в Испании и Нидерландах) микроагрегация включена в официальные руководства по защите статистических данных, выпущенные национальными статистическими институтами.
• Существуют модификации микроагрегации, которые используют не среднее, а медиану по группе — это позволяет уменьшить влияние выбросов на агрегированные значения.

Источники

• Domingo-Ferrer, J., & Torra, V. (2001). A quantitative comparison of disclosure control methods for microdata. In Confidentiality, Disclosure, and Data Access: Theory and Practical Applications for Statistical Agencies.
• Hundepool, A., Domingo-Ferrer, J., Franconi, L., Giessing, S., Nordholt, E. S., Spicer, K., & de Wolf, P. P. (2012). Statistical Disclosure Control. Wiley.
• Росстат. (2020). Методологические положения по статистическому контролю раскрытия данных микропереписей населения. Москва.
• Eurostat. (2018). Handbook on Statistical Disclosure Control for Microdata. Publications Office of the European Union.