Псевдообратная матрица

Псевдообратная матрица — это обобщение понятия обратной матрицы для произвольных прямоугольных или вырожденных квадратных матриц. В отличие от классической обратной, которая существует только для квадратных невырожденных матриц, псевдообратная матрица определена для любой матрицы любого размера и обладает рядом свойств, близких к свойствам обратной. Наиболее распространённое определение — псевдообратная по Муру — Пенроузу, которая является единственной матрицей, удовлетворяющей четырём условиям (аксиомам Мура — Пенроуза). Псевдообратная матрица широко применяется в численных методах, решении систем линейных уравнений (особенно переопределённых и недоопределённых), регрессионном анализе, обработке сигналов и машинном обучении.

История

Понятие псевдообратной матрицы впервые было введено в 1920 году американским математиком Элиакимом Гастингсом Муром, который предложил обобщение обратной матрицы для произвольных линейных операторов. Однако его работа не получила широкого распространения. Независимо от Мура, в 1955 году шведский математик Роджер Пенроуз переоткрыл и формализовал это понятие, сформулировав четыре аксиомы, которым должна удовлетворять псевдообратная матрица. В честь обоих учёных она получила название псевдообратной по Муру — Пенроузу. В 1950-х годах также были разработаны численные алгоритмы для её вычисления, в частности метод сингулярного разложения (SVD), который стал основным инструментом для нахождения псевдообратной матрицы.

Определение и аксиомы Мура — Пенроуза

Пусть \( A \) — произвольная матрица размера \( m \times n \) над полем действительных или комплексных чисел. Псевдообратная матрица \( A^{+} \) размера \( n \times m \) определяется как единственная матрица, удовлетворяющая следующим условиям:

1. \( A A^{+} A = A \) (свойство проекции на образ \( A \)).
2. \( A^{+} A A^{+} = A^{+} \) (свойство проекции на образ \( A^{+} \)).
3. \( (A A^{+})^{*} = A A^{+} \) (эрмитовость произведения \( A A^{+} \)).
4. \( (A^{+} A)^{*} = A^{+} A \) (эрмитовость произведения \( A^{+} A \)).

Здесь \( (\cdot)^{*} \) обозначает эрмитово сопряжение (транспонирование и комплексное сопряжение). Для вещественных матриц эрмитовость эквивалентна симметричности.

Свойства

Псевдообратная матрица обладает рядом важных свойств:

• Единственность: для любой матрицы \( A \) существует ровно одна матрица \( A^{+} \), удовлетворяющая аксиомам Мура — Пенроуза.
• Связь с обратной матрицей: если \( A \) — квадратная невырожденная матрица, то \( A^{+} = A^{-1} \).
• Связь с транспонированной: для матрицы полного ранга по столбцам (\( m \ge n \), ранг \( A = n \)): \( A^{+} = (A^{} A)^{-1} A^{} \). Для матрицы полного ранга по строкам (\( m \le n \), ранг \( A = m \)): \( A^{+} = A^{} (A A^{})^{-1} \).
• Идемпотентность: \( A A^{+} \) и \( A^{+} A \) являются идемпотентными (проекционными) матрицами.
• Симметрия: \( (A^{+})^{} = (A^{})^{+} \).
• Свойство нулевого пространства: \( A^{+} \) аннулирует векторы, ортогональные образу \( A^{*} \).

Виды псевдообратных матриц

Хотя псевдообратная по Муру — Пенроузу является наиболее распространённой, существуют и другие обобщения, используемые в специфических задачах:

• Правая и левая псевдообратные: для матриц, не имеющих полного ранга, можно определить правую псевдообратную (\( A A^{+} = I \)) или левую (\( A^{+} A = I \)), но они не всегда существуют.
• Псевдообратная Дразина: используется для квадратных матриц, в том числе вырожденных, и применяется в теории дифференциальных уравнений и марковских цепей.
• Псевдообратная Бойда — Бен-Израэля: обобщение для прямоугольных матриц с определёнными свойствами.

Вычисление

Сингулярное разложение (SVD)

Наиболее устойчивый и универсальный метод вычисления псевдообратной матрицы — через сингулярное разложение. Пусть \( A = U \Sigma V^{*} \), где:

• \( U \) — унитарная матрица размера \( m \times m \),
• \( V \) — унитарная матрица размера \( n \times n \),
• \( \Sigma \) — диагональная матрица размера \( m \times n \) с сингулярными числами \( \sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0 \) (где \( r \) — ранг \( A \)).

Тогда псевдообратная матрица вычисляется как: \[ A^{+} = V \Sigma^{+} U^{*} \] где \( \Sigma^{+} \) — диагональная матрица размера \( n \times m \), на диагонали которой стоят величины \( 1/\sigma_i \) для ненулевых сингулярных чисел, а остальные элементы равны нулю.

Метод Гревилля

Итерационный алгоритм, позволяющий вычислить псевдообратную матрицу без использования SVD, путём последовательного добавления столбцов или строк. Применяется для матриц с большим числом строк или столбцов.

Другие методы

Для матриц полного ранга можно использовать формулы через нормальные уравнения (см. выше). Для разреженных матриц применяются специализированные итерационные методы.

Применение

Решение систем линейных уравнений

Псевдообратная матрица даёт решение системы \( A x = b \) в смысле наименьших квадратов. Если система переопределена (уравнений больше, чем неизвестных), то \( x = A^{+} b \) минимизирует евклидову норму невязки \( \| A x - b \| \). Если система недоопределена (уравнений меньше, чем неизвестных), то \( x = A^{+} b \) даёт решение с минимальной нормой среди всех решений.

Регрессионный анализ

В линейной регрессии метод наименьших квадратов (МНК) для модели \( y = X \beta + \varepsilon \) приводит к оценке \( \hat{\beta} = (X^{T} X)^{-1} X^{T} y \), что эквивалентно \( \hat{\beta} = X^{+} y \), если \( X \) имеет полный ранг. Если матрица плана \( X \) вырождена (например, при мультиколлинеарности), псевдообратная матрица позволяет получить оценку с минимальной нормой коэффициентов.

Обработка сигналов и изображений

Псевдообратная матрица используется для восстановления сигналов, решения обратных задач, фильтрации и сжатия. Например, в задаче деконволюции изображения, где модель описывается свёрткой, псевдообратная матрица позволяет получить наилучшее приближение исходного сигнала.

Машинное обучение

В нейронных сетях псевдообратная матрица применяется в методе наименьших квадратов для обучения однослойных сетей (например, в методе экстремального обучения — ELM). Также она используется в анализе главных компонент (PCA) и факторном анализе.

Теория управления

В задачах управления и робототехники псевдообратная матрица применяется для нахождения управляющих воздействий, обеспечивающих заданное движение системы, особенно в случае избыточных манипуляторов (когда число степеней свободы больше числа управляемых координат).

Пример

Рассмотрим матрицу \( A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix} \). Она квадратная и невырожденная, поэтому её псевдообратная совпадает с обратной: \[ A^{-1} = \begin{pmatrix} -2 & 1 \\ 1.5 & -0.5 \end{pmatrix} \] Следовательно, \( A^{+} = A^{-1} \).

Теперь рассмотрим вырожденную матрицу \( B = \begin{pmatrix} 1 & 2 \\ 2 & 4 \end{pmatrix} \). Её ранг равен 1. Псевдообратная матрица \( B^{+} \) может быть найдена через SVD: \[ B = \begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{2}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} & -\frac{1}{\sqrt{5}} \end{pmatrix} \begin{pmatrix} \sqrt{5} & 0 \\ 0 & 0 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{2}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} & -\frac{1}{\sqrt{5}} \end{pmatrix}^{T} \] Тогда: \[ B^{+} = \begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{2}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} & -\frac{1}{\sqrt{5}} \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{5}} & 0 \\ 0 & 0 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{2}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} & -\frac{1}{\sqrt{5}} \end{pmatrix}^{T} = \begin{pmatrix} 0.04 & 0.08 \\ 0.08 & 0.16 \end{pmatrix} \]

Критика и ограничения

Несмотря на широкое применение, псевдообратная матрица имеет ряд ограничений. Во-первых, её вычисление через SVD может быть вычислительно затратным для очень больших матриц. Во-вторых, при наличии шума в данных или плохой обусловленности матрицы (малые сингулярные числа) псевдообратная может давать неустойчивые решения. В таких случаях применяют регуляризацию (например, гребневую регрессию или метод Тихонова), которая модифицирует псевдообратную, добавляя к сингулярным числам малую положительную константу. Кроме того, псевдообратная матрица не всегда даёт содержательное решение в задачах, где требуется учёт дополнительных ограничений (например, неотрицательность или целочисленность).

Источники

• Гантмахер Ф. Р. Теория матриц. — М.: Наука, 1967.
• Хорн Р., Джонсон Ч. Матричный анализ. — М.: Мир, 1989.
• Пенроуз Р. Обобщённая обратная матрица. — Proceedings of the Cambridge Philosophical Society, 1955.
• Moore E. H. On the reciprocal of the general algebraic matrix. — Bulletin of the American Mathematical Society, 1920.
• Голуб Дж., Ван Лоун Ч. Матричные вычисления. — М.: Мир, 1999.