6.2 Moore-Penrose逆A+及其应用在线视频

接下来看看加号逆在解线性方程组中的应用

前面介绍了用奇异值分解

计算加号逆的方法

因为奇异值分解过程复杂

下面给出用满秩分解计算加号逆的新方法

结论是这样的

假设秩r的矩阵A有满秩分解FG

那么A^+有如下的计算公式

在这个公式中

GG^H的秩等于G的秩=r

所以GG^H是可逆方阵

同理

F^HF也是可逆方阵

那么带入4个方程直接验算都满足

因为加号逆是唯一的

所以这也是另一个形式的加号逆

还是前面的例子

求A的加号逆

先求出满秩分解F,G

再计算GG^H

F^HF以及他们的逆

带入公式

得出加号逆是这样的矩阵

在了解了加号逆的计算后

下面来看看具体有什么应用

因为加号逆也是1逆

所以也可以用它来判断

方程组解的情况以及有解时求通解

那么下面这个定理就是显然的了

若方程组有解

当且仅当AA^+b=b

在有解的情况下

通解表示为A^+b+(In-A^+A)

由公式我们知道

当A^+A是单位矩阵时

也就是秩A=n时有唯一解

否则就是无穷多解

实际中

有无穷多解时

我们关心长度最小的解

称为线性方程组的极小范数解

关于极小范数解有如下结论

是说若线性方程组有解

则有唯一的极小范数解A^+b

证明思路是计算通解这个向量长度的平方

转化为x^hx

将x带入后再展开

一共有4项

其中包含两个长度的平方

还有2个交叉项

下面我们要说明交叉项都是0

将两个交叉项化简后得到这样的式子

下面重点计算划红线的部分

因为In-A^+ A的共轭转置还是自己

所以计算A^+H(In-A^+ A)

把后一项共轭转置下再合并

这样括号里面就为A^+-A^+AA^+

由广义逆的第二个等式知 它为0

同理

另一部分红线的地方也为0

这样综合起来

通解x长度的平方

恰好等于 A^+b长度的平方

加上 In-A^+A长度的平方

所以至少为 A^+b长度的平方

说明A^+b是极小范数解

唯一性就省略了

这就解决了方程组有解的情况

当方程组无解时

我们还是关心最小二乘解

利用Moose-Penrose也可以解决这一问题

结论是这样的

是说若线性方程组无解

则全部最小二乘解是这样形式的

和有解时方程组通解的形式完全一样

但是注意是两个不同的前提

证明过程也是通过计算

由题设给的向量z

带入计算Az-b的长度

恰好等于 AA^+b-b的长度

下面说明这个长度是最小的

那么对任意向量x

计算Ax-b长度的平方

先将其等价分成两部分

Ax-AA^+b 和 AA^+b-b

和前面的技巧类似

再展开分成4块

其中2块是长度的平方

还有2个交叉项

经过化简又出现了前面红色画线的两个式子

所以两个交叉项都是0

那么对任意向量x

Ax-b的长度都大于等于 AA^+b-b的长度

说明题设给的都是最小二乘解

反过来还要说明

最小二乘解都是题设给的样子

假设z0是最小二乘解

将前面推导的过程逆回去

就会得到 Az0-b长度的平方

等于另外两个长度的平方和

所以Az0-AA^+b必须为0

也就是说Ax=b的最小二乘解

z0满足新的线性方程组Ax=AA^+b的

而这个新的方程组是有解的

线性方程组有解的判定方法

说明z0可以用通解表达出来

化简后就是定理给的的样子

证明的过程中我们得出了如下有用的一个推论

是说矛盾方程组Ax=b的最小二乘解

和相容方程组Ax=AA^+b的解是一致的

同样由最小二乘解通解的结构知道

最小二乘解唯一当且仅当秩A等于n

否则有无穷多个最小二乘解

那么称所有最小二乘解中

长度最小的为极小范数最小二乘解

由上面的推论知道

矛盾方程组Ax=b的极小范数最小二乘解

就是相容方程组Ax=AA^+b的极小范数解

所以为A^+b

而且是唯一的一个

到目前为止

用加号逆我们已经彻底解决了

线性方程组Ax=b解的判断和求解

总结为如下

第1

方程组有解当且仅当 AA^+b=b.

第2

有解时

通解的形式和极小范数解的样子是这样的

第3

无解时

我们关心的最小二乘解的形式

和极小范数最小二乘解的样子也是这样的

比较23我们发现形式虽然完全一样

但含义却完全不同

最后看个例子

判断以A为系数的方程组有没有解

有解时求极小范数解

无解时求极小范数最小二乘解

根据前面得出的加号逆

带入计算AA^+b

发现不等于b 所以判断无解

此时极小范数最小二乘解为A^+b

计算出来 是这样的