Метод главных компонент¶

Метод главных компонент (англ. Principal Component Analysis, PCA) — статистический метод, используемый для снижения размерности многомерных данных путём ортогонального линейного преобразования, которое выделяет направления наибольшей дисперсии. В результате исходные коррелирующие переменные заменяются меньшим числом некоррелированных переменных, называемых главными компонентами, которые упорядочены по убыванию их вклада в общую вариативность данных.

¶Сущность метода

PCA основан на предположении, что наиболее информативные признаки данных соответствуют направлениям максимальной дисперсии. Математически метод сводится к вычислению собственных векторов и собственных значений ковариационной матрицы исходных данных. Первая главная компонента направлена вдоль вектора с наибольшей дисперсией, вторая — ортогональна первой и описывает следующую по величине дисперсию, и так далее.

Преобразование записывается как:

\[ \mathbf{T} = \mathbf{X}\mathbf{W} \]

где \(\mathbf{X}\) — матрица исходных данных (после центрирования), \(\mathbf{W}\) — матрица собственных векторов ковариационной матрицы, \(\mathbf{T}\) — матрица главных компонент (счетов).

¶Геометрическая интерпретация

Геометрически PCA выполняет поворот системы координат таким образом, чтобы оси нового пространства совпали с направлениями максимальной изменчивости облака точек. Проецируя данные на первые \(k\) главных компонент, исследователь получает приближение исходного набора данных в пространстве меньшей размерности с минимальной потерей информации (в смысле суммы квадратов ошибок).

¶Алгоритм вычисления

Стандартная процедура PCA включает несколько этапов:

1. Стандартизация данных — каждая переменная центрируется (вычитается среднее) и, как правило, нормируется на единичное стандартное отклонение. Это необходимо, поскольку переменные с большими абсолютными значениями могут доминировать в расчёте дисперсии.
2. Вычисление ковариационной (или корреляционной) матрицы.
3. Разложение матрицы на собственные векторы и собственные значения. Собственные значения определяют долю объяснённой дисперсии каждой компоненты.
4. Сортировка собственных векторов по убыванию собственных значений.
5. Проецирование данных на выбранное число главных компонент.

На практике вместо прямого вычисления ковариационной матрицы часто применяют сингулярное разложение матрицы (SVD), которое численно более устойчиво и эффективно для больших объёмов данных.

¶Критерии выбора числа компонент

Количество сохраняемых главных компонент определяется исследователем исходя из задач. Распространённые подходы:

• Правило Кайзера: сохраняются компоненты с собственным значением больше 1 (при анализе корреляционной матрицы).
• Критерий каменистой осыпи (scree plot): анализируется график зависимости собственных значений от номера компоненты; выбирается точка, после которой снижение дисперсии резко замедляется.
• Доля объяснённой дисперсии: выбирается минимальное число компонент, обеспечивающее заданный порог (например, 80–95 % суммарной дисперсии).

¶Применение

PCA широко используется в различных областях науки и техники.

¶Обработка изображений и компьютерное зрение

В задачах распознавания лиц метод главных компонент применялся в классическом подходе «собственных лиц» (eigenfaces). Каждое изображение представлялось вектором пикселей, после чего PCA выделял базис, соответствующий основным вариациям внешности. Это позволяло сжимать изображения и проводить распознавание в пространстве низкой размерности.

¶Генетика и биоинформатика

В популяционной генетике PCA используется для визуализации генетической структуры популяций. Проекция образцов генотипов на первые две главные компоненты часто отражает географическое распределение популяций и позволяет выявлять скрытую стратификацию выборки.

¶Финансовая аналитика

В финансах PCA применяется для анализа временных рядов доходностей активов. Выделение главных компонент позволяет идентифицировать общие факторы риска, такие как рыночный риск, отраслевые или валютные факторы, что используется при построении моделей управления портфелем.

¶Сжатие данных и визуализация

PCA служит одним из основных инструментов визуализации многомерных данных в двумерном или трёхмерном пространстве. Проецирование на первые две компоненты позволяет исследователю оценить кластерную структуру данных перед применением более сложных методов анализа.

¶Обработка сигналов

В анализе сигналов PCA применяется для разделения источников, шумоподавления и выделения информативных признаков. Метод используется в геофизике, акустике и телекоммуникациях.

¶Ограничения и недостатки

Метод главных компонент имеет ряд ограничений:

• Линейность: PCA выявляет только линейные зависимости между переменными. Для данных со сложной нелинейной структурой применяются нелинейные обобщения, такие как ядерный PCA или методы многообразного обучения.
• Чувствительность к масштабу: при отсутствии стандартизации переменные с большими значениями могут неоправданно доминировать.
• Интерпретируемость: главные компоненты представляют собой линейные комбинации всех исходных переменных, что затрудняет их содержательную интерпретацию в прикладных областях.
• Устойчивость к выбросам: классический PCA чувствителен к аномальным наблюдениям; существуют робастные модификации метода.
• Предположение о нормальности: хотя формально PCA не требует нормального распределения данных, статистические выводы о значимости компонент обычно опираются на это допущение.

¶Связь с другими методами

PCA тесно связан с факторным анализом, однако между ними есть принципиальное различие: факторный анализ моделирует ковариационную структуру с помощью латентных факторов и включает специфические ошибки, тогда как PCA является чисто ортогональным преобразованием без модели ошибок. Также PCA рассматривается как частный случай сингулярного разложения матрицы и как основа для методов многомерного шкалирования.

Существуют многочисленные обобщения PCA: разреженный PCA (sparse PCA) для получения компонент с малым числом ненулевых нагрузок, ядерный PCA для нелинейных данных, вероятностный PCA, основанный на модели порождающего процесса, и двусторонний PCA для матричных данных.

¶Историческая справка

Метод был независимо описан Карлом Пирсоном в 1901 году в работе о наилучшем приближении системы точек прямыми и плоскостями и Гарольдом Хотеллингом в 1933 году, который развил его применительно к психометрическим задачам. Впоследствии метод получил широкое распространение в статистике после работ Джона Уилкса и других исследователей. Термин «главные компоненты» закрепился благодаря публикациям Хотеллинга.

¶Источники

• Pearson K. On Lines and Planes of Closest Fit to Systems of Points in Space. Philosophical Magazine, 1901.
• Hotelling H. Analysis of a Complex of Statistical Variables into Principal Components. Journal of Educational Psychology, 1933.
• Jolliffe I. T. Principal Component Analysis. Springer, 2002.
• Abdi H., Williams L. J. Principal Component Analysis. Wiley Interdisciplinary Reviews: Computational Statistics, 2010.