当前课程知识点:数据挖掘 > 第5章 回归分析 > 5.4 多项式回归 > 5.4 多项式回归
多项式回归研究的是一个因变量
与一个或多个自变量之间的多项式关系
在实际问题中
因变量与自变量之间的关系
不一定是线性关系
例如 麻醉剂药效与时间的关系
药效是先增强后减弱
此时不能用线性回归来表示两者之间关系
可以采用多项式方程来表示两者之间关系
研究一个因变量与多个自变量之间的
多项式关系称为多项式回归
若自变量的个数为1
则称为一元多项式回归
若自变量的个数大于1
则称为多元多项式回归
一元k次多项式回归方程为
其中 只有一个自变量x
bˇ1、bˇ2...bˇk
为多项式的系数
a 为多项式的截距
最简单的多项式是二次多项式
其中一元二次多项式方程为
下面两个图是该多项式的图形
它的图像是抛物线
其中 第一个图是bˇ2大于0时
多项式方程的图形
曲线凹向下
有一个极小值
第二个图是bˇ2小于0时
多项式方程的图形
曲线凸向上
有一个极大值
例 多项式回归求解
此表是某曲线自变量x
与因变量y的数据集
此图是该曲线中x与y的散点图
试求出x与y之间的回归关系
(1)求解回归方程
从图中可知
x与y之间的关系可近似用一个
一元二次多项式来表示
故假设x与y之间的关系表达式为
y=a+bˇ1x+bˇ2x^2
这里仍然采用最小二乘法
来求解参数a,bˇ1和bˇ2
分别对a冒、bˇ1冒和bˇ2冒求偏导
且令偏导值为0
得到如下方程组
化简得到如下方程组
可以将方程组看成是关于
a冒、bˇ1冒和bˇ2冒的
三元一次方程组
带入表中的数据
求解得
求得的多项式回归方程为
(2)多项式方程拟合优度检验
根据求得的多项式回归方程
可得到预测值y冒
如表所示
根据表中数据可求得y平均等于2.33
结合表中数据
求解TSS和ESS
将数据代入公式
求得TSS=4.2156
ESS=3.9502
最后求解R方
等于ESS除以TSS
结果为0.937044
R方非常接近1
故求得的回归方程对数据的拟合度较好
(3)多项式方程F检验
求解RSS
RSS=TSS-ESS
此例中 代入数据后
等于0.2654
求解F值
本例中
k=2 n=13
代入求解F的公式
假设α=0.01
查F分布临界值表可知F值为7.56
小于74.42
故该回归方程是高度显著的
(4)多项式回归方程t检验
此例中 n=13
在置信度水平为0.01的情况下
经查t分布表
知t值为2.681
根据公式求解tˇ1和tˇ2
结果为 tˇ1=-11.46478
tˇ2=11.37554
tˇ1和 tˇ2分别是
回归方程回归系数
bˇ1冒和bˇ2冒的t检验
tˇ1绝对值和 tˇ2绝对值
均大于t分布值2.681
所以 两个自变量
均对因变量y有显著性影响
-1.1 数据分析与数据挖掘
-1.2 分析与挖掘的数据类型
-1.3 数据分析与数据挖掘的方法
-1.4 数据分析与数据挖掘使用的技术
-1.5 应用场景及存在的问题
-第1章 作业1
-第1章 作业2
-2.1 数据的属性
-- 2.1 数据的属性
-2.2 数据的基本统计描述
-2.3 数据的相似性和相异性
-第2章 作业1
-第2章 作业2
-3.1 数据存在的问题
--数据存在的问题
-3.2 数据清理
--3.2 数据清理
--数据清理
-3.3 数据集成
--3.3 数据集成
--数据集成
-3.4 数据归约
--3.4 数据规约
--数据归约
-3.5 数据变换与数据离散化
-第3章 作业1
-第3章 作业2
-4.1 数据仓库基本概念
--数据仓库基本概念
-4.2 数据仓库设计
--数据仓库设计
-4.3 数据仓库实现
--数据仓库实现
-4.4 联机分析处理
--联机分析处理
-4.5 元数据模型
--元数据模型
-第4章 作业1
-第4章 作业2
-5.1 回归分析的基本概念
-5.2 一元线性回归
--一元线性回归
-5.3 多元线性回归
--多元线性回归
-5.4 多项式回归
--多项式回归
-第5章 作业1
-第5章 作业2
-6.1 概述
--频繁模式概述
-6.2 Apriori算法
-6.3 FP-growth算法
-6.4 压缩频繁项集
--压缩频繁项集
-6.5 关联模式评估
--关联模式评估
-第6章 作业1
-第6章 作业2
-7.1 分类概述
--7.1 分类概述
--分类概述
-7.2 决策树
--决策树
-7.3 朴素贝叶斯分类
--朴素贝叶斯分类
-7.4 惰性学习法
-7.5 神经网络
--神经网络
-7.6 分类模型的评估
--分类模型的评估
-第7章 第一部分作业2(研究生班级)
-第7章 第二部分作业2
-第7章 第二部分作业1
-8.1 聚类概述
--8.1 聚类概述
--聚类概述
-8.2 基于划分的聚类
--基于划分的聚类
-8.3 基于层次的聚类
--基于层次的聚类
-8.4 基于密度的聚类
--基于密度的聚类
-8.5 基于网格的聚类
--基于网格的聚类
-第8章 作业1
-第8章 作业2
-9.1 离群点定义与类型
-9.2 离群点检测
--离群点检测
-第9章 作业1
-第9章 作业2