当前课程知识点：水资源系统分析理论与应用 > 第二章 实用非线性优化方法 > 2.4无约束极值问题的解析法 > 2.4无约束极值问题的解析法
本单元
我们来学习无约束极值问题的解析法
无约束极值问题（2.4-1）的迭代求解方法
通常可以分为两类
一类要用到目标函数的一阶导数
和二阶导数
由于用到了函数的解析性质
故称之为解析法
另一类在迭代过程中仅用到函数值
而不要求函数的解析性质
这类方法称之为直接法
一般地
直接法的收敛速度较慢
但是直接法的迭代步骤较简单
特别是当目标函数的解析表达式
非常复杂
甚至写不出来时
它们的导数很难求得时
解析法就无能为力了
但解析法可以给直接法
特别是新近发展起来的
群体智能算法的构造以启示
提供思路
无约束非线性优化问题求解思路是
构造下降的迭代算法
以满足
2 迭代序列要收敛
算法的核心是
梯度法又称为最速下降法
是在下降的迭代算法中以负梯度方向
作为搜索方向的方法
是所有计算导数的无约束优化方法中
最简单的方法
梯度法的特点
（1）相邻两次迭代的搜索方向是正交的
（2）很扁的同心椭圆族
迭代过程是拉锯情形
收敛很慢
在x点附近
用泰勒展开式前3项q(δ)
逼近f(x+δ)
取什么样的δ
能使f(x+ δ*)*)=min f(x+ δ)
显然
应满足�
q(δ)=0
即δ=-H-1g(x)
牛顿法
即在下降的迭代算法中
取下降方向为Hesse矩阵的逆矩阵
左乘负的梯度
牛顿法的特点
（1）优点
收敛速度较快
特别是当初始点靠近最优点时
（2）缺点
在迭代过程中每一步
都要计算二阶导数矩阵
计算量很大
且要求Hesse矩阵非奇异
在牛顿法的迭代算法中
求Hesse矩阵的近似矩阵
满足拟牛顿条件（2.4-6）
代替Hesse矩阵
相应的算法称之为拟牛顿法
第一个拟牛顿法由Davidon(1959)提出
后经Fletcher
和Powell(1963)修改
称之为DFP方法
它的修正公式为（2.4-7）
共轭梯度法
是利用目标函数梯度逐步产生共轭方向
作为线性搜索方向的方法
考虑目标函数是凸的二次函数的情形
即（2.4-9）
下面给出相互H共轭的定义
H共轭向量组有2个重要的性质
（1）线性无关性
（2）二次截止性
若求二次函数（2.4-9）的极小值点
设有了n个H共轭的向量
则从任意的初始点出发
沿这n个方向作一维精确线搜索
则最多做n次搜索便可得出极小值点
称这样的迭代算法为共轭方向法
在极值点附近用一个二次函数逼近f(X)
若针对二次函数
我们建立了共轭方向法
那么相应的算法对求f(X)的极小值
也是有效的
这就有了共轭梯度算法2.4-4
本次课到此结束
同学们再见
-1.1 水资源系统分析问题的提出
-1.2 系统的概念与系统方法
-1.3系统分析的概念和内容
-1.4水资源系统分析方法
-1.5水资源系统分析量化方法案例
-第一章测试
-2.1非线性优化数学模型与求解方法
-2.2最优性条件
--2.2最优性条件
-2.3一维优化与线搜索
-2.4无约束极值问题的解析法
-2.5二次规划
--2.5二次规划
-2.6约束非线性优化罚函数法
-2.7非线性优化直接方法
-2.8 SCE-UA算法
-2.9可变容差法
--2.9可变容差法
-第二章测试
-3.1多阶段决策问题
-3.2动态规划基本原理
-3.3水库优化调度建模及求解
-3.4 随机动态规划模型
-3.5水库优化调度实例
-第三章测试
-4.1遗传算法
--4.1遗传算法
-4.2粒子群算法
--4.2粒子群算法
-4.3蚁群算法
--4.3蚁群算法
-4.4狼群算法
--4.4狼群算法
-第四章测试
-5.1多目标规划问题与特点
-5.2多目标规划模型与解的概念
-5.3多目标规划求解方法
-5.4多目标规划的实例
-第五章测试
-6.1动态系统预测方法导论
-6.2时间序列方法
-6.3线性动态系统模型方法
-6.4 BP人工神经网络方法
-6.5支持向量机方法
-6.6洪水过程动态系统预报方法实例
-第六章测试
-7.1评价程序与评价指标
-7.2层次分析法
--7.2层次分析法
-7.3模糊综合评价法
-7.4投影寻踪评价法
-第七章测试
-8.1决策分析的基本概念
-8.2 不确定性的基本概念
-8.3 完全不确定型决策
-8.4 风险的多维度量
-8.5 风险型决策（1）
-8.6风险型决策（2）
-第八章测试
-期末测试
-期末论文
