7.1 引言 7.2 线性方程组的迭代法（上）在线视频

同学们

大家好

我是北京科技大学数理学院

的卫宏儒老师

由我为大家介绍计算方法里面

的两部分内容一部分

是线性方程组的直接解法

还有一部分是线性方程组

的迭代解法

我们今天开始学习线性方程组的

迭代解法

那么这章里边

我们大概也分下面几个方面

一个关于迭代解法的一些背景

第二个关于线性方程组的迭代

解法的方法

第三部分

关于非线性方程组的解

的解法

最后我们再介绍一下

数值实验

那么对这章我们有下面一些要求

求解线性方程组数值解法

我们

知道有两个方法

一个叫直接接法

一个

叫迭代解法

我们前面已经学习了

线性方程组的直接解法

我们下面要开始学习

线性方程组的迭代解法

那么对迭代解法里

我们主要讲清楚

这三个方面的主要内容

一个就是

Jacobi迭代法

第二个叫高斯Seidel迭代法

第三部分

那叫超松弛收敛法

也叫超松弛迭代法

这是三个主要方法

那么学习过三个主要方法之后

我们要讨论要学习一下

关于迭代法的收敛性问题

最后

我们要介绍下关于

线性方程组对应的

叫非线性方程组的迭代解法

它里面包括三大方法

这是我们对这章的基本要求

那么第一块

我们要介绍引言

什么叫引言呢

也就说

这个线性方程组的迭代解法

怎么产生的

有什么样背景

大家回忆一下

我们在前面学习过了

非线性方程求根问题

那么非线性方程求根问题

里面我们讲了一个叫迭代法

也讲过了牛顿迭代法

那么最重要的是

通过一个方程

我们要获得一个迭代过程

那么把这个方法

我们要推广到

线性方程组里面来看

怎么样去做这件事情

换句话说

对迭代法呢

我们对于一个线性方程组

Ax=b如何转化成一个迭代过程

也就说转化成x=Bx+f

那么

如果这个迭代过程中构造成功的话

我们就会得到一个

这样的向量序列如上所示

它由这个迭代过程产生

也就是说x的k+1

等于B乘以xk在加f

那么如果xk这个向量序列

它要收敛到某个向量x*

则我们可以得到

这样一个向量x*

那就是这个方程组

它的准确解

这是我说的

把方程求根

这个迭代法

推广到线性方程组里边来看

如何去获得这个迭代过程

这是一般的一个思路

通过这个思路

那我们来解决

线性方程组的迭代法的迭代过程

那么从这个介绍

或者说背景的了解过程可以看到

如何建立迭代过程很关键

所以我们下面的介绍三个方法

一个Jocobi方法

第二

第二叫赛德尔方法

也叫做高斯赛德尔方法

还有一个方法

那叫超松弛迭代法

那么Jocobi方法呢

把他也叫做简单迭代法

也叫做同时代换法

它是解决

线性方程组最基本的一个迭代方法

而高斯赛德尔迭代法

他是对Jocobi方法

经过改进之后得到的

超松弛方法

是赛德尔迭代方法的一个演变

这什么说的一个基本背景

那么刚才说了Jacobi方法

他是一个最基本办法

这个办法能用

收敛速度比较慢一些

在目前信息化的发展过程中

随着计算机的速度要求包括

精度的要求

这样的方法来显得有点落后

但是

这个迭代方法的基本思想

是我们要学习的

所以说我们首先学习

迭代法的这个过程

同时

那在这章学习里边

或者说

我们要用到前面

第二章里面要学习

曾经学习过的

关于向量的范数

矩阵的范数以及

以及序列的极限概念

这个地方

我们不再回忆了

我们在第二部分同学们一个学习过

好我们下面讲第二部分

关于线性方程组的迭代方法

第一个那叫Jacobi方法

那么

什么Jacobi方法

这个Jacobi方法

主要是从

一个

N个变量

N个方程的这样线性方程组出发

我们要构造一个迭代过程

也说把这个

方程组写成矩阵形式

Ax=b

我们想办法转化成

一个x等于b乘以x

可加一个向量的这么一个形式

那么其中

A大家也知道

是一个系数矩阵

B呢叫自由向量

x它的解向量

那么如何从这个矩阵出发

构造的迭代过程

方程我们刚才回忆过了对非线性方程

求根里面

我们如何去得到一个

迭代过程

那么

把这办法用到方程组里面

我们怎么做

我们简单说一下

其实对这个方程组变化很简单

第一步

我们把第一个方程里面的如上留下

把其它的统统移到右边去

第二方程里面

我们把如上留下

把其它都移到方程的右边

依次类推

到最后的方程

我们把如上

留下

其它都拿到方程右边去

然后两边同除一下

对这N个方程

每个方程都除一下

aii也就说a11

a22一直到ann

存完之后

我们会得到一个迭代过程

把它写成一般形式

就是我们在课件里面所看到

这样的方程组形式

那么由于我们要产生一个迭代过程

所以说

在方程组的右边的变量的

右上方

我们都统一写个小括号k

在方程组的左端

x1,x2到xn

它的右上方

写一个

括号里面写一个x

1或者x2到xn

右上方写

括号里面

k+1

这样的话我们会得到一个

这个迭代过程

把这个迭代的过程

我们就叫做Jacobi迭代的过程

也就说

把这个方程组

所对应的同解方程组

也叫做Jacobi迭代格式

同样的把它可以写成矩阵形式

那么这个方程组

他所对应的那个矩阵

我们引出了一个叫Bj矩阵

还有个x向量

另外

还有一个D矩阵叫对角阵

还有个g矩阵

我们通过这个过程中会得到

这个bj

他的矩阵形式

就得D逆乘以D-A

也就等于I减去D逆乘以A

两句话一个

说从我们方程组的变形形式

我们会得到Jacobi的格式

我们利用矩阵的这个变化过程

也能够得到这个Jacobi格式

这样的话

我们可得到两种形式

一个形式

那就是Jacobi的迭代公式

也叫做迭代格式

另外的形式

就是它的矩阵形式

叫Jacobi迭代矩阵格式

那么这两种形式

都是可以的

一个叫分量形式

一个叫矩阵形式

对我们运算来讲都很方便

好

这是第一个

关于Jacobi的迭代格式

怎么来的

或者说这个迭代方法怎么产生的

同时

我们为了把这方法加速

我们要介绍一下第二办法

叫高斯赛德尔迭代法

也是为了加快速度

我们想办法说

把经过计算的分量

同时想用到下个分量计算过程中

也就是我们要做一下改进

每算出一个分量的近似值之后

立即用到下个分量的计算中去

那么就得到了它的一个迭代格式

比如说我们第一个方程里面的

如上，对吧

我们把第二个方程里面的如上

就改成如上

第一个

那就是如上

如上

这样的话我们说

把第二方程里面的x1的k

就变成了k+1

右边的这个变量的上面

我们的k改成k+1

那么第三方程里面一样的道理

里面有如上

给它改成如上

以此类推

也就说把这个

改进过程

简单总结一下一句话

说每算出个分量

把它用到下个分量里面去

这个过程

就是叫做赛德尔迭代格式

那么这样改进之后

它的方法能够提高

这个计算的速度

把它也叫做异步迭代法

这时我们说

通过这样一个分量形式

或者说

Jacobi迭代格式的分量

形式进行改进之后得到的

另外方面的可以通过矩阵的变形

也可以知道

我们在前面学习过了

直接法里边一个叫距阵的LU分解

那个是矩阵的分解

把它也叫做阵裂法

那么我们类似的把这个

变形形式用矩阵的分析一下

也是完全一样的

也就说

把Ax=b

我们把A进行分裂

叫做分开成两个

如上

我们除了L、U之外

还有个D，当然了

这里面的L和U矩阵

跟前面讲的LU分解

是完全不一样的

我们把A分解成三个矩阵相加

那么

其中L

和U分别是严格的

下和上三角矩阵

D是个对交阵

我们利用矩阵的这种变换

或者说矩阵的乘法

会得到

高斯赛德尔迭代法的矩阵形式

那么如上就等于

负的D逆

乘L再乘以xk+1

减去D逆乘U

再乘以xk

再加D逆B

这是说

通过矩阵分解

我们也可以得到了

这个

跟我们赛德尔方法类似的一个结果

那么

按照矩阵运算

我们再推导一下如上

经过矩阵运算

我们会得到它的

另外一种形式就叫做矩阵形式

也就说Jacobi矩阵

改进之后

会得到

我们高斯赛德尔

迭代格式的矩阵形式

也说如上

如上

那么这里面的如上

叫赛德尔迭代矩阵

如上就是负的

D加L的逆矩阵乘以U

我们如上

等于D+L的逆矩阵乘以B

这是通过另外一个方面

按照矩阵运算

我们得到了

赛德尔格式这种矩阵形式

这两种形式

那么

把它的

赛德尔格式

写成分量形式

就是我们这一页PPT所看到的

我们刚才说了如上

那么右边是

我们的如上

以及相关的变量

以及自由向量

组成的这样的

方程组

这是也是N+1个变量

N个方程

N个变量的这个

赛德尔格式

那么其中这个变形过程里面

我们一个很重要要求

刚才也看到了

要求每个一aii要不为零

因为

两边要除一下aii

如果它要为零的话

这个形式就不能进行了

我们一会儿再讲一下他的理由

好了

这是关于赛德尔

它的改进格式的

它的矩阵形式

以及它的分量形式

这是第二个方法

那么同时

我们会在得到第三个

超松弛迭代法

那么

超松弛迭代法怎么来的

说当时用Jacobi迭代法

和赛德尔迭代法

解线性方程组的情况下

可能会出现收敛情况很慢

那么

为了提高这个迭代的收敛速度

我们再给出

超松弛收敛法

这个方法

它也是在刚才我们

介绍过的

Jacobi包括赛德尔方法基础之上

它这个改进形式

基本思想是利用

原迭代的第K次迭代值

以及由xk产生了下一步的迭代值

我们进行一个加权

平均

就可以构造一个新的迭代格式

把这句话写成缩写形式

就下面这个表示的形式

就是如上

等于如上

在加

如上

那么这里面的如上

然后到k+1直下去

其中

里面的参数ω把它叫做松弛因子

如上

是由如上

产生的赛德尔迭代值

这是我们说的

通过对赛德尔迭代法

我们做这个加权平均之后

得到这个新的一个迭代格式

把这个迭代格式

叫做超松弛迭代格式

通过我们适当的调整

ω的值一般可以使原迭代法

这样的收敛加快

当ω等于1的情况下我们从这个

公式

或者超松弛迭代格式里面

马上发现

超松弛迭的格式

它就是赛德尔迭代格式

也就说

赛德尔迭代格式是

超松弛及的格式

当ω=1的情况下

的一个什么特殊情况

这是我说的

超松弛迭代法

那么通过推导一样的方法

因为刚才讲了

Jacobi迭代有两种形式

一个是它的分量形式

我们叫迭代格式

还有什么啊矩阵格式

那么

赛德尔一样

因为它的分量形式

也有矩阵格式

那么对超松弛收敛法一样道理

我们也有矩阵形式

也有它的分量形式

那么这个推导就比较复杂了

我们按照刚才类似的办法

可以推导出

超松弛收敛法的它的迭代矩阵

等于如上

这个形式就很复杂了

把它叫做超松弛迭代矩阵

那么其中里面的相关的符号

说明

跟前面一样的包括

我们知道这个如上

那么这个如上

跟如上

他是跟赛德尔迭代矩阵

方法是一样的

也就是说它的含义是一样的

这是我们的第三个办法

当然

我们也可以证明这

后面没有作为收敛定理

会给大家讲个事情

那么超松弛迭代格式

他收敛的必要条件

ω要在零到2之间取值

也就说 ω大于0小于2

同时

这个ω大于零小于2的值相当多

我们怎么去选

我们要通过试算的办法来进行

我们后面再介绍一下

这一块关于跟他有关的

收敛性情况

当然啦超松弛迭代法的难点

最重要的是如何

选择一个适当的

合适的松弛因子

这很重要

如果选不好

速度慢了

选好了速度很快

目前对少数特殊类型的

矩阵

已经找到了最佳的松弛因子

这样的理论公式

大家有兴趣可以看一下

清华大学李庆扬教授

所编的相关教材

那么在实际计算里面

我们知道这样的困难性也很大

因此通过

我们试算来解决

这个松弛应选取问题

这是我们讲的第三个办法