Кластер как способ группировки данных¶

Кластер — это группа объектов, объединённых по некоторому общему признаку, а также сам результат операции группировки. Термин применяется в информатике, экономике, лингвистике, астрономии, биологии и статистике, причём в каждой области содержание понятия уточняется: речь может идти о вычислительных узлах, предприятиях, звуках, галактиках или наблюдениях. Общим остаётся принцип: элементы внутри кластера схожи между собой сильнее, чем с объектами из других групп.

¶Общее понятие

Кластер возникает там, где множество разнородных объектов требуется свести к ограниченному числу типовых групп. Формально задача сводится к разбиению множества на подмножества так, чтобы внутригрупповое сходство было максимальным, а межгрупповое — минимальным. Мера сходства задаётся расстоянием в признаковом пространстве: евклидовым, манхэттенским, косинусным или иным. Кластеры бывают чёткими, когда объект принадлежит ровно одной группе, и нечёткими, когда принадлежность выражается степенью.

¶Кластерный анализ

Кластерный анализ — раздел многомерной статистики и машинного обучения, занимающийся построением таких групп. Он относится к обучению без учителя: заранее известных меток классов нет, структура выявляется из самих данных. Основные семейства методов:

• иерархические — последовательное объединение или разделение объектов, результат представляется дендрограммой;
• центроидные — метод k-средних и его модификации, минимизирующие разброс внутри групп;
• плотностные — DBSCAN и подобные, выделяющие сгущения точек и отсекающие шум;
• вероятностные — смеси распределений, оцениваемые EM-алгоритмом;
• сетевые и спектральные — работа с графами связей.

Число кластеров либо задаётся заранее, либо подбирается по внутренним критериям качества. Методы применяются в сегментации клиентов, сжатии изображений, биоинформатике, поиске аномалий и обработке текстов.

¶Кластер в вычислительной технике

В информатике кластер — это группа соединённых сетью компьютеров, работающих как единая система. Такое построение даёт масштабируемость и отказоустойчивость: при выходе узла нагрузка перераспределяется между остальными. Различают кластеры высокой доступности, вычислительные (для параллельных расчётов) и балансировки нагрузки. Управление обеспечивают специальные программные платформы, а обмен данными идёт по высокоскоростным каналам. Кластерная архитектура лежит в основе суперкомпьютеров, облачных платформ и отказоустойчивых серверов.

¶Экономические кластеры

В экономике и экономической географии кластер — территориальное сосредоточение взаимосвязанных предприятий, поставщиков, научных и образовательных организаций одной отрасли. Концепцию разработал Майкл Портер в 1990-е годы, связав конкурентоспособность региона с плотностью таких связей. В России примерами служат кластеры в автомобилестроении, авиастроении, фармацевтике, судостроении и агропромышленном комплексе; их развитию содействуют программы поддержки промышленных кластеров. Эффект объясняется снижением издержек, обменом знаниями и общим рынком труда.

¶Кластер в лингвистике

В фонетике и лингвистике кластер — последовательность однородных элементов: сочетание согласных в слоге (например, «стр» в слове «страна») или группа близких по значению слов. В корпусной лингвистике кластеризация применяется для автоматической группировки текстов и терминов по тематике.

¶Естественные науки

В астрономии различают звёздные скопления (рассеянные и шаровые) и скопления галактик — гравитационно связанные системы. В физике говорят о кластерах атомов и молекул как о промежуточных образованиях между отдельными частицами и макроскопическим веществом. В биологии и медицине кластером называют группу совместно расположенных клеток или случаев заболеваний, а также скопления генов.

¶Кластеры в промышленности и технике

Помимо экономического смысла, термин используется для обозначения компактных групп оборудования: кластер из нескольких станков, серверов или датчиков, объединённых общим управлением. В нефтегазовой отрасли говорят о кустовом расположении скважин, в энергетике — о кластерах генерирующих мощностей.

¶Кластеризация и классификация

Кластеризацию не следует смешивать с классификацией. При классификации объект относят к заранее известному классу по размеченным примерам, при кластеризации группы формируются из данных без подсказки. Кластеризация часто предшествует классификации: она выявляет естественную структуру, которую затем интерпретирует исследователь.

¶Значение и ограничения

Кластерный подход позволяет сжимать большие массивы информации, находить скрытые закономерности и строить устойчивые системы из ненадёжных компонентов. Вместе с тем результат зависит от выбора меры расстояния, масштабирования признаков и числа групп, поэтому выводы требуют содержательной проверки. Устойчивость кластеров оценивают повторными запусками и сравнением разбиений.

Источники: учебные издания по статистике и анализу данных, работы Майкла Портера по конкурентоспособности, справочные материалы по вычислительным системам и лингвистике.