7.3 非线性方程组的迭代法在线视频

同学们

我们前面学习了关于线性方程组

的迭代解法

我们下面开始学习

关于非线性方程组的解的解法

那么寻求非线性方程组的

计算方法

对求解力学问题

电路问题

经济平衡问题

以及

跟其他有关的非线性问题

都具有很重要的意义

那么这小结里面

我们主要讲三个办法

一个是叫不动点迭代法

还有牛顿法

另外一个叫最速下降方法

那么这三种方法

在求解一般的

非线性方程组方面

有着重要的作用

它们是求解非线性方程组的

基本办法

那么

我们首先考虑下

我们所面对的对象

叫非线性方程组

那么这里边有n个方程

我们分别写成f1，f2，到fn

以多元形式的形式

多元函数的这个表达方法来写一下

那每一个都是个非线性方程

把它基于一个公式(1)

那么

为了我们后面证明方便

或是推倒这个方法方便

把这个方程组形式

我们也可以写成向量形式

我们把所有的f1，f2，到fn

记成一个F向量

那么它就等于零向量

那么F

从Rn到Rn的一个映射

x属于n微向量

那么其中里面的F(x)

他用f1到fn这

n个函数来表示的

这写成向量形式

那么有了向量形式后

我们简单要想一想

我们的第三部分

学习过的非线性方程求根问题

我们知道这个方法跟它有关系

我们要想办法去寻求一个x*

新能满足这个F(x*)=0

这里边的0是个零向量

如果说x*找到了

那么就把x*成为F(x)=0的解

这是第一个

第二个要求

如果这个x*我们找到了存在的

那么

它满足x*=G(x*)

这个G是什么东西

我们能够想起来的话

它应该是个迭代函数

把这个过程

我们里边

这个x*也叫迭代函数

它的不动点

也就是映射G(x)的不动点

这是我们

利用前面学习过的

这种非线性方程求根的迭代方法

所得到这两个很重要的一个概念

我们下面先看第一个办法

叫不动点迭代法也叫做简单迭代法

那么根据刚才说把我们的非线性方程组

写成向量方程的话

我们写成了F(x)=0

那么

我们要想办法在

方程左边留一个x

把其他的移到方程右边去

统一叫做G(x)

把它记为我们公式(2)

这样的话

我们得到了这样一个很重要的

如上的映射

那么如果说按照迭代法的思想

我们如果能够得到一个过程

或者说得到一个迭代过程

这个迭代向量

它如果收敛的话

会得到x*

x*

那就等于G(x*)

这个x*就叫做它的不动点

这是我们说的

一般的迭代法的一个基本思想

那么对不动点迭代方程

这个向量方程

我们取一个初始向量xo

就会得到一个迭代的这个序列

如上所示

把这个式子记为公式（3）

那么把它叫做不动点迭代法

那么这个里面的很重要的是迭代

函数叫做G(x)

怎么确定

我们知道他的方法比较多

那么如果能够得到一个

收敛向量序列

这个迭代格式

是我们所需要的

换句话说

这个迭代函数是我们想要得到的

把这个迭代函数

我们要通过不同办法来构造

不同的迭代映射

会对应着不同的迭代求解方法

那么构造一个序列

我们说这个序列叫xk

那么通过这个序列的收敛性

我们来解决它的求解问题

如果这序列的收敛的它的解

或者说就计算出来了

当然了

从向量的范数来看的话

那么如上这个范数

它的极限是零

同时把G(x)我们叫做

这样一个迭代函数

如果它是一个连续函数的话

我们称序列xk它收敛到x*

这是说的

我们一个

一个基本的一个方法

我们看个例题

看如何去做这个事情

或者说

这个一般的方法如何去得到

我们给一个一般的

非线性方程组

这里边有两个方程

两个方程

我们用不动点迭代法来解一下它

在零（0,0）附近的根计算一下

那么按照刚才所讲的一般方法

我们首先把这方程组变形

要得到一个迭代过程

也是由原方程组

得到它的不动点方程组

大家看一下很清楚

第一个方程

我们给左边留个x1

其他通统统移过去

也就是把

如上

这个项留下

把其他移到右边去

两边除下负的

十分之一

十分之一

除下-10就可以了

那么第二个方程一样道理对吧

我们把x

其他项都拿过去留一个y

得到了y等于十分之一这个式子

这是跟原方程组同解的一个

不动点方程组

我们下面看一下由这个过程

来构造一个迭代格式

怎么构造

很简单

在右边的所有变量的右上边

我们写一个k

在左边的x跟y上面写个k+1

然后

我们用X0

这样的向量做一个初值

开始迭代

那么经过十次迭代之后

我们得到了这个它的一个近似解

那么由这个例题我们知道了

G(x)这个迭代函数

在求解过程中十分重要

那么关于G（x）不动点的存在性

以及迭代的收敛性

有与非线性方程

这个迭代过程相类似的结果

我们这里面简单回忆下这个定理

那么这个压缩映射原理

就是我们第三部分

讲非线性方程求根里面的

那个压缩映射原理

推广到这个向量函数里面来

推广到向量序列里面

又得到了类似的这个

压缩映射原理

当然

我们假设在这个闭区间里面

G属于我们Rn区间里边

我们这个压缩映射

满足下面两个条件

第一个

叫映内性

第二

叫压缩性

这两个性质放在一块

我们就叫做压缩映射原理

G(x)的要求

那么压缩映射原理

它不仅提供了

判定

一个迭代收敛的充分条件

那么同时

它为不动点迭代法

这个实施过程

奠定了一个很好的理论基础

因此我们要通过一个

方程的变形过程会得到很多的

不同的这种迭代过程

但是

你要获得个收敛过程

就需要我们这个压缩映射原理

来起作用

就是说我们在这个过程里面

也可以类似前面学习过的

也可以类似前面学习过的

这样个迭代法的方法

利用相邻两次迭代的差向量的范数

来控制迭代过程

也就是说如上

他的范数小于ε

ε是起先给定的一个误差

或者我们的精度要求

来控制迭代过程

这样的话我们会

把这个方法

就用到我们非线性方程组求解里面

这是的第一个

当然了这里边我们

还会得到一个跟他有关的

叫压缩映射函数

这样一个它的Jacobi矩阵

利用了这个我们的多元函数

对不同的变量求偏导

所构成的这样一个

矩阵叫Jacobi矩阵

同时我们会给出第二定理

如果这个压缩映射函数

它有不动点x*

那么它满足下面要求

它的谱半径要小于1的话

那么这个情况下

存在x*的一个领域

使得对这样的任意的一个初始向量

我们会得到一个收敛序列

这是

跟刚才这个数列过程紧密相关的

那么定理二

他只是说不动点迭代

局部收敛的

充分条件不是必要的

但如果迭代函数

它是个线性映射

也说G(x)=Ax+b

这个A是个n阶矩阵

那么则定理2

他就是迭代收敛的一个充分必要条件

那么按照这个方法

我们都定了一个

或者说我们刚才讲过的这个性质

在看一下它的迭代映射

包括我们例题1里边

这个G(x)

它的导函数

以及他的x*所组成的矩阵

这是我们看到的一个结果

当然了

结果里面充分体现到

刚才定理的准确性

就验证了一下

它的谱半径是0.4

确实是小于1的

所以说迭代格式收敛的

那么类似于

数列的数列定义

可以定义向量序列收敛速度问题

这是

按照向量分量

所构成的数列的定义

向量的一个收敛问题

这是

非线性方程组

求解的第一个办法叫

迭代法或者一般迭代法

第二个

很重要

讲下牛顿迭代法

那么类似于

非线性方程牛顿迭代法一样

我们求解非线性方程组

他的牛顿迭代法

也要先将非线性方程组线性化

线性化的过程中

我们假设仍然一样的跟

刚才的方法一样

F（X）=0

那么同时

这个F是如上一个映射

那么F（x）

跟刚才的方法一样里面的

f1，f2，fn这个非线性函数

同时这里面的fi

每一个函数

我们所要求的这个函数在某个领域

区域里面

它要具有一阶连续偏导数

同时如上是方程组的一个近似解

这边又用到了高等数学里面的知识

多元函数如何在一个点的领域里面

我们要把它展开成泰勒公式

这地方

有些同学可能忘掉了

自己下去复习一下

有时候我们对多元函数

这个泰勒公式

应用到这个地方

我们会得到如上

等于如上加后这个

如上里边的这一串

里面偏导数

我们只取了它的线性部分

那么我们利用线性部分

那就可以得到非线性方程组的

近似线性方程组

这个就是我们刚才所讲的

如何把这个非线性问题

那么得到了这个方程组（1）

这是个线性方程

那么它的系数矩阵

是有由偏导数所组成的一个矩阵

因此

我们刚才所讲的这个非线性方程组

经过

线性化之后

会得到下面这个线性方程组

写成矩阵形式

就是如上它的导数

对吧

乘以Δxk

等于负的f(xk）

把这个公式记成（2）

那么里面的Δxk

等于如上

当（2）的系数矩阵

它可逆情况下

我们这个方程组

它的解就可以表示成下面形式

那么这些式子我们看一看

想一想就想起来了

它应该是前面

学习过的一个非线性方程

求根里面的牛顿迭代法

完全类似的

也就是说f(x)那个

k'那个上面带个逆

就是作为分母

所以说给我们那个非线性方程求根

跟那个牛顿迭代法的公式

是完全类似的

这叫做公式（3）

那么公式（3）

它是求解非线性方程组的

牛顿迭代法的迭代格式

那么他的迭代函数

就是那个G(x)

就等于如上

它的导函数

对吧

它的逆

形成的这样的矩阵乘以如上

那么我们可以证明

这个G(x*)

他实际上说

等于后面这个表达式

这很简单

两边求一下导数就可以

我们得到了

它的

谱半径是等于零的

那么由定理2

我们可以得到牛顿迭代法是

局部收敛的

不仅如此

我们还可以证明

牛顿迭代法是个平方收敛的

换句话说

牛顿迭代法

它的收敛速度很快

那么牛顿迭代法

在计算机实现了里也比较方便

按照公式（3）计算来讲的话

每一步

需我们在计算过程中都需要求

逆这比较困难一些

所以说在牛顿法里面

我们可能最重要的还是

如何解决它的求逆问题

那么这是我们说的第二办法

当然啦

这个方法里面刚才讲了

求逆比较困难

同时那对高阶矩阵来讲

也是比较困难的

实际上来讲

具有很重要的一个意义

我们要想办法解决它的

逆矩阵计算问题

这是通过这方法学习

要注意的事

同时我们应用牛顿迭代格式

求解非线性方程组的情况下

我们一样的方法

也要用相邻两次迭代的它的

差向量的范数来控制迭代的过程

在这我们想到了

刚才所学习过的

我们的

线性方程组它的迭代法里面一样

也要用这个

相邻两次迭代

差的向量范数的控制迭代过程

这个是类似的

这是我们的第二个办法

要看一个例题

把这个方法复习一下

好好学习一下

这个方程组有两个变量

我们要用牛顿法来解决它

（1,1）的附近的根

那么按照刚才办法

把这两个方程里面的函数

我们分别记成f1,f2

同时

我们会得到F

F'也会得到

同时那它的迭代格式

按照刚才所写的

我们会得到了这个迭代格式

那么下面我们取一下初值

我们取两初值一个取（1,1）

x0，y0都取1,1

那么经过五次迭代

我们会得到他的解是（1,2）

同样我们选另外一个初值

取个（-1，-1）

我们取x0，y0等于-1

我们取x0，y0等于-1

两个-1

经过六次迭代

我们会得到了它的一个解

那么这是我们一个验证过程

当然牛顿迭代格式的缺陷

每前进一步

都需要解一次方程组

这是比较困难的

这我们第二个办法

我们通过例题

讲一讲它的应用

第三个办法

那叫最速下降法

这里面我简单说一下

如果同学们这一块学习有困难的话

要看下高等数学里面的

梯度的概念

什么叫梯度

这里面有个最速下降法

其实依赖于

高等数学里面

梯度的概念

我们看一下如何去做这些事情

那么刚才所说

非线性方程组

里面有n个非线性函数

那么把这个非线性函数拿来

我们构造一个新的函数模函数

那么模函数就等于

就等于

这n个函数它的平方和

平方和

那么其中里面的x

是一个n维向量

那么就说

将非线性方程组的求解问题

转化成求多元函数

的零点的这个问题

这是说把矛盾转化了

那么显然

如果说x*属于Rn

满足x*他的φ的值等于零的话

则非线性方程组

它的解就是x*

反过来是一样的道理

而这个本质上来讲就是求解

φ（x）它的一个最优化问题

那么下面介绍下

求解这个无约束条件的

最优化问题

这个基本办法

就叫做最速下降法

那么最速下降法

我刚说了他的基础

要知道

梯度概念

所以概念要忘了的话可能很麻烦

希望同学们下去要复习一下

那么梯度概念

就是在一个多元函数

一个点处

我们用它的偏导函数

构成那个向量

也说

在这点的领域里面

我们要找个

这样的方向

这地方

把他叫到下降最快的

一个负梯度方向

记成-G0

这里面的分量都是

这个φ（x）

它的偏导数就φ

关于x1，x2到xn偏导数

所组成向量

那么我们下面看这过程怎么做的

我们首先取一个适当Φ

求得下一个点如上

那么这个Φ需要满足这个等式

如上要等于

等于这个如上

G0

这是最速下降法的第一步计算

你说第一步之后

我们从这个地方开始出发

那么从如上出发

重复上面的过程

我们就可以得到如上

如此进行下去

我们就会得到Rn中最速下降的

一个点列

如上一直下去

那么它所对应的

如上的值

是一个单调下降的数列

那么

如果当k趋于无穷大的情况下

这个如上它的极限值x*

同时

如上

他的极限为零

则x*那他就是

非线性方程组

这个方程组的解

那么最速下降法

他的最后的结果是通过

如上

小于ε来终止计算

或者说控制迭代过程

就是如上满足我们的要求的近似解

这是我们的

最速下降法

看例题看一下这方法怎么去实现的

我们仍然看这个方程

这个方程组

跟刚才的例题是一样的

我们仍然去用

最速下降法来解决这个

（1,1）附近的根

按照刚才最速下降法的基本过程

首先构造一个φ(x，y)

就是把这两个多元函数平方相加

然后我们算下梯度

梯度

刚才说了很好记就是多元函数

关于每个变量的他的

偏导数所组成的向量

这句话记住了之后就很容易了

我们下面来算一下它的初始值

是如上

等于（1,1）

经过这个梯度方向计算完之后

会得到他的一个下降的过程

同时让我们取一个如上值

那么使得这个如上

要等于这个最小值

t0=0.0467

从而我们会得到x1

这是说

通过初值我们算了如上

那么接着通过如上

按照刚才的公式再算如上

再算如上

我们通过16次迭代之后

得到了（x*，y*）=（1,2）

这是我们第一个用（1,1）作初值

当然我们还可以另外选一个初值

把（-1，-1）来经过计算

当然这个比较快一些

我们通过六次迭代

会得到一个近似值

这是说的（-1，-1）

我们还可以取-1和1

同样的这个迭代就很慢

我们要通过64次迭代

能计算

得到他的一个解是（1,2）

当然我们刚才看到

几个办法取初值

取不同初值

不管怎么样

我们次数多也罢少也罢

我们总能够得到它的解

那么但是

用牛顿法求解就不收敛了

这说的它的区别

我们下面总结一下

那么对这方法来讲

牛顿法具有较快的收敛速度

缺点

它对初值要求比较高

计算量比较大

那么最速下降法

对任意的初值总是收敛的

缺点

那是收敛速度较慢

通常是越靠近解

它的逼近速度越慢

这是总结一下

这是总结一下

那么的对策是怎么做

将两种办法

有机结合一下

我们用最速下降法提供初值

之后

我们在用牛顿法进行求解

这是我们说的

关于非线性方程组求解的三大方法

这是我们说的这样一个

很重要的一个过程