Кластер — множественная группировка объектов¶

Кластер — это группа объектов (данных, процессов, вычислительных узлов, генов и т. п.), объединённых по сходству某些 признаков, так что объекты внутри группы более похожи друг на друга, чем на объекты из других групп. Термин происходит от англ. cluster — «скопление, гроздь» и применяется в информатике, статистике, биологии, физике и других областях знания.

¶Кластерный анализ

В статистике и машинном обучении кластерный анализ (кластеризация) — это метод группировки наблюдений без предварительного обучения (обучение без учителя, unsupervised learning). Задача формализуется так: имеется множество точек в пространстве признаков, требуется разбить его на подмножества так, чтобы внутри каждого подмножества объекты были максимально схожи, а между подмножествами — максимально различны.

Основные семейства алгоритмов:

• К-средних (k-means) — объекты распределяются по k заранее заданным центрам, которые итеративно уточняются. Прост и быстр, но требует заранее указать число кластеров и чувствителен к начальному размещению центров.
• Иерархическая кластеризация — строится дендрограмма (дерево) слияния или разделения кластеров; число групп можно выбрать уже по готовому дереву.
• DBSCAN — плотностной алгоритм, выделяющий кластеры как связные области повышенной плотности; умеет обнаруживать выбросы и кластеры произвольной формы.
• Gaussian Mixture Models — вероятностная модель, предполагающая, что данные порождены смесью гауссовых распределений.

Выбор числа кластеров часто осуществляется по эвристикам: метод локтя, силуэтный коэффициент, критерий Байеса.

¶Кластеры в информатике

¶Кластер вычислительный

Вычислительный кластер — это набор связанных между собой компьютеров (узлов), работающих как единая система для решения параллельных задач. Кластеры обеспечивают отказоустойчивость (при отказе узла задачу продолжает другой) и масштабируемость (производительность растёт с добавлением узлов). По назначению различают:

• кластеры высокой доступности (High Availability) — дублирование сервисов для непрерывной работы;
• вычислительные (HPC) кластеры — решение научных и инженерных задач, требующих высокой производительности;
• хранилищные кластеры — объединение дисковых массивов в единое пространство хранения.

В России развитие отрасли HPC-кластеров поддерживается национальными проектами и грантами; отечественные разработки включают платформы на базе процессоров «Эльбрус» и «Байкал».

¶Кластер в сетевых технологиях

В компьютерных сетях кластер — группа серверов, работающих как единый сервис. Например, кластер баз данных обеспечивает репликацию данных и балансировку нагрузки между узлами.

¶Кластеры в других областях

¶Биология и геномика

В генетике кластерами называют группы генов, расположенных рядом на хромосоме и часто наследующихся вместе (кластеры генов гистонов, генов иммуноглобулинов). В биоинформатике кластерный анализ применяется для группировки последовательностей ДНК и белков по сходству, что позволяет выявлять гомологичные гены и предсказывать функции белков.

¶Физика

В физике конденсированного состояния кластер — это атомная группа из нескольких атомов, обладающая свойствами, отличными от свойств как отдельного атома, так и объёмного материала. Кластерные модели используются при описании фазовых переходов, кластерного стекления и магнитных свойств наночастиц.

¶География и экономика

Кластер в экономике — это территориальная концентрация связанных предприятий, поставщиков, научных организаций и институтов в определённой отрасли. Понятие активно развивалось Майклом Портером, который рассматривал кластеры как фактор конкурентоспособности национальных экономик. В России поддержка создания промышленных кластеров закреплена в федеральном законодательстве; в различных субъектах РФ функционируют кластеры в сфере IT, медицинских технологий, агропромышленного комплекса и других отраслях.

¶Применение кластеризации в данных

Кластерный анализ широко используется в:

• маркетинге — сегментация клиентской базы;
• медицине — подтипизация заболеваний по молекулярным маркерам;
• инфобиблиотечном деле — автоматическая тематическая группировка документов;
• безопасности — обнаружение аномалий и мошеннических схем;
• обработке изображений — сегментация и сжатие палитр.

¶Проблемы и ограничения

Кластеризация не лишена трудностей: чувствительность к выбору метрики расстояния, неопределённость числа кластеров, зависимость результата от масштабирования признаков, сложность интерпретации в случае сложных нелинейных структур. Результаты кластерного анализа всегда требуют экспертной валидации, поскольку алгоритмы формально выделяют группы даже в полностью случайных данных.

¶Источники

• Хан Т., Камман С. Кластерный анализ: понятия и методы.
• Эверитт Б., Ландоу С., Морри С. Кластерный анализ.
• Портер М. Конкурентное преимущество: создание и удержание высокой результативности.
• Ханнан М., Саварезе Д. Вычислительные кластеры: архитектура и программирование.