Множественный дискриминантный анализ

Множественный дискриминантный анализ (МДА) — это статистический метод многомерного анализа данных, предназначенный для классификации объектов (наблюдений) по нескольким заранее заданным группам на основе набора количественных признаков (предикторов). Он является обобщением линейного дискриминантного анализа Фишера (для двух групп) на случай трёх и более классов. Основная цель МДА — построение линейных комбинаций исходных переменных (дискриминантных функций), которые максимально разделяют группы и позволяют с минимальной ошибкой отнести новый объект к одной из них.

История

Метод линейного дискриминантного анализа был впервые предложен британским статистиком Рональдом Фишером в 1936 году для решения задачи классификации ирисов (набор данных Фишера). Фишер разработал способ нахождения линейной комбинации признаков, которая максимизирует отношение межгрупповой дисперсии к внутригрупповой. В 1948 году американский математик К. Р. Рао обобщил этот подход на случай более чем двух групп, заложив основы множественного дискриминантного анализа. Дальнейшее развитие метода связано с работами П. Лакенбрука, Дж. Хартвига и других исследователей в 1960–1970-х годах, которые формализовали процедуры оценки, проверки значимости и интерпретации дискриминантных функций. С развитием вычислительной техники МДА стал широко применяться в биологии, медицине, психологии, экономике и технике.

Теоретические основы

Постановка задачи

Пусть имеется \( G \) групп (\( G \geq 2 \)), каждая из которых содержит \( n_g \) объектов (\( g = 1, \ldots, G \)), а общее число объектов \( N = \sum_{g=1}^{G} n_g \). Для каждого объекта измерен вектор из \( p \) количественных признаков \( \mathbf{x} = (x_1, x_2, \ldots, x_p)^T \). Требуется построить правило, которое по вектору \( \mathbf{x} \) относит объект к одной из \( G \) групп с минимальной вероятностью ошибки.

Дискриминантные функции

МДА основан на поиске \( K = \min(G-1, p) \) линейных дискриминантных функций вида: \[ y_k = \mathbf{a}_k^T \mathbf{x} = a_{k1} x_1 + a_{k2} x_2 + \ldots + a_{kp} x_p, \] где \( k = 1, \ldots, K \). Векторы коэффициентов \( \mathbf{a}_k \) находятся из условия максимизации отношения межгрупповой дисперсии к внутригрупповой в пространстве дискриминантных переменных \( y_k \). Математически это сводится к решению обобщённой задачи на собственные значения: \[ \mathbf{B} \mathbf{a}_k = \lambda_k \mathbf{W} \mathbf{a}_k, \] где \( \mathbf{B} \) — межгрупповая матрица рассеяния (размерности \( p \times p \)), \( \mathbf{W} \) — внутригрупповая матрица рассеяния, \( \lambda_k \) — собственные числа, упорядоченные по убыванию. Первая дискриминантная функция \( y_1 \) соответствует наибольшему собственному числу \( \lambda_1 \) и обеспечивает наилучшее разделение групп.

Классификация новых объектов

Для отнесения нового объекта с вектором \( \mathbf{x}_0 \) к одной из групп используются два основных подхода:

1. Правило на основе расстояния Махаланобиса: вычисляется квадрат расстояния Махаланобиса от \( \mathbf{x}_0 \) до центра каждой группы \( \bar{\mathbf{x}}_g \):

\[ D_g^2 = (\mathbf{x}_0 - \bar{\mathbf{x}}_g)^T \mathbf{S}^{-1} (\mathbf{x}_0 - \bar{\mathbf{x}}_g), \] где \( \mathbf{S} \) — объединённая ковариационная матрица (предполагается, что ковариационные матрицы групп равны). Объект относится к группе с минимальным \( D_g^2 \).

1. Правило на основе дискриминантных функций: объект классифицируется по значениям \( y_k \), вычисляемым для него, с использованием линейных классификационных функций (функций Фишера):

\[ f_g(\mathbf{x}_0) = \mathbf{x}_0^T \mathbf{S}^{-1} \bar{\mathbf{x}}_g - \frac{1}{2} \bar{\mathbf{x}}_g^T \mathbf{S}^{-1} \bar{\mathbf{x}}_g + \ln \pi_g, \] где \( \pi_g \) — априорная вероятность принадлежности к группе \( g \). Объект относится к группе с максимальным значением \( f_g(\mathbf{x}_0) \).

Предположения

Для корректного применения МДА необходимо выполнение следующих условий:

• признаки \( x_j \) имеют многомерное нормальное распределение внутри каждой группы;
• ковариационные матрицы групп равны (гомогенность дисперсий);
• отсутствие мультиколлинеарности среди предикторов;
• независимость наблюдений.

Нарушение этих предположений (особенно равенства ковариационных матриц) может привести к смещённым оценкам и увеличению ошибки классификации. В таких случаях применяют квадратичный дискриминантный анализ или непараметрические методы (например, метод k-ближайших соседей).

Процедура проведения

Этапы анализа

1. Формулировка задачи: определение групп и набора признаков.
2. Сбор и подготовка данных: проверка на выбросы, пропуски, нормальность распределения.
3. Разделение выборки: обычно данные делятся на обучающую (для построения модели) и тестовую (для оценки точности) выборки.
4. Построение дискриминантных функций: вычисление собственных чисел и векторов, оценка значимости функций (например, с помощью лямбды Уилкса).
5. Проверка значимости: тестирование гипотезы о равенстве центров групп (нулевая гипотеза: \( H_0: \bar{\mathbf{x}}_1 = \bar{\mathbf{x}}_2 = \ldots = \bar{\mathbf{x}}_G \)) с использованием статистики \( \Lambda \) Уилкса или критерия Хотеллинга.
6. Интерпретация: анализ коэффициентов дискриминантных функций для понимания вклада исходных признаков в разделение групп.
7. Классификация: отнесение новых объектов к группам и оценка точности (например, матрица ошибок, доля верных классификаций).

Оценка качества

Качество модели оценивается с помощью:

• доли верно классифицированных объектов (accuracy) на обучающей и тестовой выборках;
• матрицы ошибок (confusion matrix), показывающей, сколько объектов из каждой группы отнесено к каждой;
• перекрёстной проверки (cross-validation), например, leave-one-out, для уменьшения смещения;
• статистики лямбды Уилкса: чем меньше значение \( \Lambda \), тем лучше разделение групп.

Применение

Биология и экология

МДА используется для классификации видов животных и растений по морфологическим признакам (например, определение вида ирисов по длине и ширине лепестков). В экологии — для выделения экологических групп организмов по параметрам среды обитания.

Медицина

В медицинской диагностике МДА применяется для отнесения пациентов к группам риска или диагнозам на основе клинических показателей (например, дифференциация доброкачественных и злокачественных опухолей по данным биопсии). В психиатрии — для классификации типов расстройств по результатам тестов.

Психология и социология

В психологии МДА используется для выявления профилей личности (например, по шкалам опросника MMPI) и отнесения испытуемых к клиническим группам. В социологии — для анализа социально-экономических групп населения по доходам, образованию и другим признакам.

Экономика и маркетинг

В маркетинге МДА применяется для сегментации потребителей: на основе данных о покупках, демографии и предпочтениях клиенты относятся к определённым рыночным сегментам. В финансах — для оценки кредитоспособности заёмщиков (классификация на «надёжных» и «ненадёжных»).

Технические науки

В распознавании образов и обработке сигналов МДА используется для классификации объектов по спектральным или геометрическим признакам (например, распознавание рукописных символов, идентификация объектов на изображениях).

Ограничения и критика

• Чувствительность к нарушению предположений: при неравенстве ковариационных матриц или ненормальности данных точность классификации может резко снижаться.
• Линейность: МДА предполагает, что границы между группами линейны в пространстве признаков. Для нелинейных разделений требуются более сложные методы (например, метод опорных векторов с ядрами).
• Мультиколлинеарность: высокая корреляция между предикторами приводит к неустойчивости оценок коэффициентов.
• Размер выборки: для надёжных оценок необходимо, чтобы число объектов в каждой группе превышало число признаков (рекомендуется соотношение не менее 5:1).
• Интерпретация: коэффициенты дискриминантных функций не всегда легко интерпретировать в терминах исходных переменных, особенно при большом числе признаков.

Пример

Классический пример — набор данных Фишера об ирисах (Iris setosa, Iris versicolor, Iris virginica). Для 150 цветков измерены четыре признака: длина и ширина чашелистика, длина и ширина лепестка. МДА строит две дискриминантные функции (так как \( G=3 \), \( p=4 \), \( K=2 \)), которые позволяют разделить три вида с точностью около 98% на обучающей выборке. Первая функция (объясняет 99% межгрупповой дисперсии) в основном определяется длиной и шириной лепестка, вторая — шириной чашелистика.

Сравнение с другими методами

• Логистическая регрессия: более устойчива к нарушению нормальности, но менее эффективна при многомерном нормальном распределении и равных ковариациях.
• Метод k-ближайших соседей: непараметрический, не требует предположений о распределении, но чувствителен к масштабу признаков и объёму данных.
• Метод опорных векторов: позволяет строить нелинейные границы, но сложнее в интерпретации.
• Деревья решений: просты в интерпретации, но могут переобучаться и менее точны при линейно разделимых данных.

Источники

• Fisher R. A. The Use of Multiple Measurements in Taxonomic Problems // Annals of Eugenics. — 1936. — Vol. 7, No. 2. — P. 179–188.
• Rao C. R. The Utilization of Multiple Measurements in Problems of Biological Classification // Journal of the Royal Statistical Society. Series B. — 1948. — Vol. 10, No. 2. — P. 159–203.
• Лакенбрук П. Дискриминантный анализ. — М.: Финансы и статистика, 1987. — 168 с.
• Хартвиг Дж. Многомерный статистический анализ. — М.: Мир, 1980. — 488 с.
• Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: Классификация и снижение размерности. — М.: Финансы и статистика, 1989. — 607 с.
• Дронов С. В. Многомерный статистический анализ. — Барнаул: Изд-во АлтГУ, 2018. — 240 с.