Обобщённые обратные матрицы

Обобщённая обратная матрица — это матрица, которая для заданной матрицы \( A \) удовлетворяет некоторым из свойств обычной обратной матрицы, но не обязательно всем. В отличие от классической обратной, которая существует только для квадратных невырожденных матриц, обобщённая обратная может быть определена для матриц произвольного размера и любого ранга, включая прямоугольные и вырожденные квадратные матрицы. Наиболее известным и широко используемым типом является псевдообратная матрица Мура — Пенроуза, которая обладает всеми четырьмя свойствами Мура — Пенроуза и даёт единственное решение задачи наименьших квадратов.

История

Понятие обобщённой обратной матрицы возникло в середине XX века в связи с необходимостью решения систем линейных уравнений, не имеющих точного решения, или систем с вырожденной матрицей коэффициентов. В 1920 году американский математик Элиаким Гастингс Мур ввёл понятие «обобщённой обратной» для произвольных матриц, но его работа оставалась малоизвестной. Независимо от него, в 1955 году британский математик Роджер Пенроуз опубликовал статью, в которой определил псевдообратную матрицу через систему из четырёх аксиом (условий Мура — Пенроуза) и доказал её существование и единственность для любой матрицы. В 1956 году Пенроуз также показал, что его определение эквивалентно определению Мура, поэтому матрица, удовлетворяющая этим условиям, получила название псевдообратной матрицы Мура — Пенроуза.

В 1950–1960-х годах советские математики, в частности И. М. Гельфанд и М. М. Лаврентьев, также внесли вклад в теорию обобщённых обратных матриц, разработав методы их применения в задачах математической физики и численного анализа. В 1960-е годы появились первые алгоритмы численного вычисления псевдообратных матриц, основанные на сингулярном разложении (SVD).

Определение

Пусть \( A \) — матрица размера \( m \times n \) над полем действительных или комплексных чисел. Матрица \( X \) размера \( n \times m \) называется обобщённой обратной матрицей для \( A \), если она удовлетворяет одному или нескольким из следующих условий (свойств Мура — Пенроуза):

1. \( A X A = A \) (условие рефлексивности по отношению к \( A \));
2. \( X A X = X \) (условие рефлексивности по отношению к \( X \));
3. \( (A X)^* = A X \) (эрмитовость произведения \( A X \));
4. \( (X A)^* = X A \) (эрмитовость произведения \( X A \)),

где \( (\cdot)^* \) обозначает эрмитово сопряжение (транспонирование и комплексное сопряжение).

Матрица \( X \), удовлетворяющая всем четырём условиям, называется псевдообратной матрицей Мура — Пенроуза и обозначается \( A^+ \). Если матрица \( A \) квадратная и невырожденная, то \( A^+ = A^{-1} \).

Классификация обобщённых обратных матриц

В зависимости от того, каким из условий Мура — Пенроуза удовлетворяет матрица, выделяют несколько типов обобщённых обратных:

• {1}-обратная (или просто обобщённая обратная) — удовлетворяет только первому условию (\( A X A = A \)). Таких матриц может быть бесконечно много. Используется для нахождения частных решений системы \( A x = b \).
• {1,2}-обратная (рефлексивная обобщённая обратная) — удовлетворяет условиям 1 и 2. Обладает свойством \( X = X A X \).
• {1,3}-обратная (наименьших квадратов) — удовлетворяет условиям 1 и 3. Даёт решение задачи наименьших квадратов.
• {1,4}-обратная (минимальной нормы) — удовлетворяет условиям 1 и 4. Даёт решение с минимальной нормой.
• {1,2,3,4}-обратная (псевдообратная Мура — Пенроуза) — удовлетворяет всем четырём условиям. Единственна для любой матрицы.

Свойства псевдообратной матрицы Мура — Пенроуза

Псевдообратная матрица обладает рядом важных свойств:

• Существование и единственность: для любой матрицы \( A \) размера \( m \times n \) существует единственная матрица \( A^+ \) размера \( n \times m \), удовлетворяющая всем четырём условиям.
• Связь с обычной обратной: если \( A \) квадратная и невырожденная, то \( A^+ = A^{-1} \).
• Свойство ортогональности: \( A A^+ \) и \( A^+ A \) являются ортогональными проекторами на образ и кообраз \( A \) соответственно.
• Свойство ранга: \( \operatorname{rank}(A^+) = \operatorname{rank}(A) \).
• Свойство сопряжения: \( (A^+)^ = (A^)^+ \).
• Свойство произведения: если \( A \) имеет полный столбцовый ранг, то \( A^+ = (A^ A)^{-1} A^ \); если полный строчный ранг, то \( A^+ = A^ (A A^)^{-1} \).

Методы вычисления

Существует несколько способов вычисления псевдообратной матрицы:

• Сингулярное разложение (SVD): если \( A = U \Sigma V^ \), где \( \Sigma \) — диагональная матрица сингулярных чисел, то \( A^+ = V \Sigma^+ U^ \), где \( \Sigma^+ \) получается заменой ненулевых диагональных элементов на обратные.
• Метод Гревилля: рекуррентный алгоритм, основанный на последовательном добавлении строк или столбцов.
• Метод наименьших квадратов: для матриц с полным рангом можно использовать формулу через нормальные уравнения.
• Численные методы: в вычислительной практике чаще всего применяется SVD, реализованный в библиотеках линейной алгебры (LAPACK, NumPy, MATLAB).

Применение

Обобщённые обратные матрицы находят широкое применение в различных областях науки и техники:

• Решение систем линейных уравнений: для систем \( A x = b \), где \( A \) — прямоугольная или вырожденная, общее решение имеет вид \( x = A^+ b + (I - A^+ A) z \), где \( z \) — произвольный вектор. Решение с минимальной нормой получается при \( z = 0 \).
• Задача наименьших квадратов: псевдообратная матрица даёт решение, минимизирующее \( \| A x - b \|^2 \). Это используется в регрессионном анализе, обработке сигналов, машинном обучении.
• Обработка изображений: псевдообратные матрицы применяются для восстановления изображений, удаления шума, деконволюции.
• Управление и робототехника: в задачах кинематики манипуляторов псевдообратная матрица Якоби используется для нахождения конфигураций суставов, обеспечивающих заданное положение рабочего органа.
• Статистика и эконометрика: в методе наименьших квадратов для регрессионных моделей с вырожденной матрицей плана.
• Численное решение дифференциальных уравнений: в методах конечных элементов и разностных схемах для систем с вырожденными матрицами.

Критика и ограничения

Несмотря на широкое применение, использование обобщённых обратных матриц имеет ограничения. Вычисление псевдообратной через SVD может быть вычислительно затратным для больших матриц. Кроме того, при наличии сингулярных чисел, близких к нулю, псевдообратная матрица может быть неустойчивой к малым возмущениям входных данных (проблема плохой обусловленности). Для решения этой проблемы применяют регуляризацию (например, регуляризацию Тихонова), которая модифицирует псевдообратную, отбрасывая или ослабляя малые сингулярные числа.

Интересные факты

• Псевдообратная матрица Мура — Пенроуза является единственной матрицей, которая одновременно даёт решение задачи наименьших квадратов и имеет минимальную норму среди всех таких решений.
• В русскоязычной литературе термин «псевдообратная матрица» часто используется как синоним обобщённой обратной, хотя в англоязычной традиции «generalized inverse» — более широкое понятие.
• Метод Гревилля позволяет вычислять псевдообратную рекуррентно, что удобно для пошагового добавления данных в регрессионных задачах.
• В 1960 году советский математик В. Н. Кублановская предложила метод вычисления псевдообратной матрицы на основе ортогональных преобразований, который лёг в основу ряда численных алгоритмов.

Источники

• Пенроуз Р. «Обобщённая обратная матрица» // Proceedings of the Cambridge Philosophical Society, 1955.
• Мур Э. Г. «Об обратной матрице для произвольной матрицы» // Bulletin of the American Mathematical Society, 1920.
• Гантмахер Ф. Р. «Теория матриц». — М.: Наука, 1967.
• Кублановская В. Н. «О вычислении псевдообратной матрицы» // Журнал вычислительной математики и математической физики, 1960.
• Бен-Исраэль А., Гревилль Т. Н. Е. «Обобщённые обратные матрицы: теория и приложения». — М.: Мир, 1974.
• Голуб Дж., Ван Лоун Ч. «Матричные вычисления». — М.: Мир, 1999.