一元加权最小二乘线性回归模型

        一元线性回归模型
\[
Y=\beta _0 +\beta _1 x+\varepsilon ,\;\;\;\;\;\;\;E\varepsilon
=0,\;\;DY=D\varepsilon =\sigma ^2
\]当给定一组数据 \( (x_i ,y_i ),i=1,2,\cdots ,n \)，且 \( l_{xx} \ne
0 \) 时，都能得到一条经验回归直线 \( \hat {y} \) ＝ \( \hat {\beta }_0 \) ＋ \( \hat {\beta
}_1 x \)。
但模型有一个基本的假定，同方差性，即对所有的数据 \( (x_i ,y_i ),i=1,2,\cdots
,n \)，代入模型中，误差项都有 \( D\varepsilon _i =\sigma ^2 \)，\( i=1,2,\cdots
,n \)。如果遇到异方差情形呢？请看下面的例子。

例 : 为研究用户的每月用电量 \( X \) 与用电高峰每小时用电量 \( Y \) 之间的关系，抽样调查了53户家庭，获得如下数据。
\[\mbox{表1 用户每月用电量 X 与用电高峰每小时用电量 Y 的数据}\]\[
\begin{array}{|c|cc|c|cc|}
\hline
   \mbox{用户}& x_i\mbox{(千瓦小时)}&y_i \mbox{(千瓦)}&\mbox{用户}& x_i \mbox{(千瓦小时)}&y_i \mbox{(千瓦)} \\\hline
1&679&0.79&28&1748&4.88 \\
2&292&0.44&29&1381&3.48 \\
3&1012&0.56&30&1428&7.58 \\
4&493&0.79&31&1255&2.63 \\
5&582&2.7&32&1777&4.99 \\
6&1156&3.64&33&370&0.59 \\
7&997&4.73&34&2316&8.19 \\
8&2189&9.5&35&1130&4.79 \\
9&1097&5.34&36&463&0.51 \\
10&2078&6.85&37&770&1.74 \\
11&1818&5.84&38&724&4.1 \\
12&1700&5.21&39&808&3.94 \\
13&747&3.25&40&790&0.96 \\
14&2030&4.43&41&783&3.29 \\
15&1643&3.16&42&406&0.44 \\
16&414&0.5&43&1243&3.24 \\
17&354&0.17&44&658&2.14 \\
18&1276&1.88&45&1746&5.71 \\
19&745&0.77&46&468&0.64 \\
20&435&1.39&47&1114&1.9 \\
21&540&0.56&48&413&0.51 \\
22&874&1.56&49&1787&8.33 \\
23&1543&5.28&50&3560&14.94 \\
24&1029&0.64&51&1495&5.11 \\
25&710&4.00&52&2221&3.85 \\
26&1434&0.31&53&1526&3.93 \\
27&837&4.20& \ \ & \ \ &\ \\
\hline
\end{array}
\]试建立线性回归模型，并分析其回归效果。

        首先，画出散点图如下，


在excel平台上计算，得到如下的结果。
\[\mbox{表2 回归统计}\]\[
\begin{array}{|c|c|}
\hline
     Multiple\ R & 0.839411   \\
R\ Square & 0.70461 \\
Adjusted\ R\ Square & 0.698818   \\
\mbox{标准误差} & 1.577226 \\
\mbox{观测值}    &53 \\
\hline
\end{array}
\]\[\mbox{表3 方差分析}\]\[
\begin{array}{|c|c|c|c|c|c|}
\hline
&df     & SS    & MS    &F &Significance\ F \\\hline
   \mbox{回归分析} &1 &302.6294   &302.6294   &121.6531   &4.11E-15 \\
\mbox{残差}   &51 &126.8697   &2.487642   & \ \ & \ \ \\
\mbox{总计}   &52 &429.4992   & & &\\
\hline
\end{array}
\]\[\mbox{表4 回归系数表}\]\[
\begin{array}{|c|c|c|c|c|c|c|}
\hline
&Coefficients &\mbox{标准误差}& t Stat &P-value & \mbox{下限(95%)}&\mbox{上限(95%)} \\\hline
   Intercept&   -0.83133&   0.441623&   -1.88244    &0.065487& -1.71792&   0.055265 \\
   X\ Variable 1    &0.003683   &0.000334& 11.02965    &4.11E-15   &0.003012& 0.004353\\
\hline
\end{array}
\]经验回归方程为 \( \hat {y}=-0.8313+0.0037x \)。
        模型检验
\[H_0 :\beta _1 =0,\quad H_1 :\beta _1 \ne 0\] \( R^2\approx 0.8394 \)，回归效果一般。又因为 \( F\approx
121.6531 \)，其概率4.11E-15远远小于0.05（显著水平），因此模型通过检验。但残差平方和为126.8697，比较大。

        当一个回归模型存在异方差性时，普通的最小二乘估计不再具有最小方差的优良性，这将给回归方程的应用效果带来一定的影响。主要存在以下问题：
（1）参数估计值虽是无偏的，但不具有最小方差性；
（2）参数的显著性检验失效；
（3）经验回归方程的应用效果极不理想。

如何诊断线性回归模型的异方差性呢？又如何解决此类问题呢？下面将结合上述的实例来阐述这个问题的解决方法。

        首先，判断异方差性的方法------残差图分析法。
        残差图分析法是一种直观、方便的分析方法。它以残差 \( e_i
(i=1,2,...,n) \) 为纵坐标，以观测时间或序号为横坐标画散点图，或者以 \( x_i
\) 或 \( \hat {y}_i (i=1,2,...,n) \) 为横坐标也可以。如果该散点图中的残差 \( e_i
(i=1,2,...,n) \) 随 \( i \) 或 \( x_i \) 的值或 \( \hat {y}_i
\) 的值变化而变化，具有明显的规律，则由此诊断模型的随机误差项 \( \varepsilon _i
\) 的方差具有异方差性，也称为非齐性。

        上述例的残差图如下：


由图2看出，误差 \( e_i \) 随 \( x_i
\) 的增加而增加，由此判断线性回归模型的随机误差项具有异方差性。

        消除异方差性的方法通常有加权最小二乘法，Box-Cox变换法，方差稳定变换法等。这里仅介绍加权最小二乘法，它是一种最常用的消除异方差性的方法。

        加权最小二乘法的思想是在误差平方和
\[Q(\beta _0 ,\beta _1
)=\sum\limits_{i=1}^n {(y_i -(\beta _0 +\beta _1 x_i ))^2}
\]中引入一个适当的权值 \( w_i \)，使之变为
\[Q_w (\beta _0 ,\beta _1
)=\sum\limits_{i=1}^n {w_i (y_i -(\beta _0 +\beta _1 x_i ))^2}
\]以达到调整各项在平方和中的作用. 欲确定参数 \( \beta _0 ,\beta _1 \)，使得 \( Q_w
(\beta _0 ,\beta _1 ) \) 达到最小，即 \( \mathop {\min }\limits_{\beta _0 ,\beta
_1 } Q_w (\beta _0 ,\beta _1 ) \)。

        可以证明加权最小二乘估计为：
\[
\left\{
\begin{array}{l}
\hat {\beta }_{1w} =\frac{\sum\limits_{i=1}^n {w_i (x_i -\bar {x})(y_i
-\bar {y})} }{\sum\limits_{i=1}^n {w_i (x_i -\bar {x})^2} } \\
\hat {\beta }_{0w} =\bar {y}_w -\hat {\beta }_{1w} \bar {x}_w
\end{array}
\right.\tag{1}
\]其中，\( \bar {x}_w =\frac{\sum\limits_{i=1}^n {w_i x_i }
}{\sum\limits_{i=1}^n {w_i } },\quad \bar {y}_w =\frac{\sum\limits_{i=1}^n
{w_i y_i } }{\sum\limits_{i=1}^n {w_i } } \)。

         一般地，应考虑取权值 \( w_i =\frac{1}{\sigma _i^2 } \)，其中 \( \sigma _i^2
\) 是第 \( i \) 个观测值误差项的方差。误差项方差较大的观测值接受较小的权值，而误差项方差较小的观测值接受较大的权值。
         但是，在实际问题中，\( \sigma _i^2 \) 却是未知的，应该对它进行估计。
考虑到异方差性的特征是方差 \( \sigma _i^2 \) 随自变量 \( x_i
\) 的增大而增大，那么设置一个待定参数 \( m \)，使得 \( \sigma _i^2 \) 与 \( x_i^m
\) 成正比例关系，不妨令 \( \sigma _i^2 =kx_i^m \)，其中 \( k \) 是比例系数。
这时，权值选取为 \( w_i =\frac{1}{kx_i^m
} \)。由于比例系数 \( k \) 在参数估计中可以消去，因此直接使用权值函数：
\[w_i =\frac{1}{x_i^m }\tag{2} \]利用SPSS软件可以确定(2)式中的幂指数 \( m \) 的最优取值，以满足 \( \mathop {\min
}\limits_{\beta _0 ,\beta _1 } Q_w (\beta _0 ,\beta _1 ) \)。

        以例中的数据计算，在SPSS软件中，导入数据 \( (x_i ,y_i
)(i=1,2,...,53) \)，按步骤``分析 \( \to \) 回归 \( \to
\) 权重估计''，弹出对话框，依次选取``因变量 \( y\to \) 自变量 \( x\to
\) 权值变量 \( x \) ''，默认的幂指数 \( m =-2，-1.5，-1，-0.5,0,1.5,2\) ，默认值也可以修改。这里，选取默认的幂指数，得到 \( m=1.5 \)，使得对数似然函数值达最大，最大值为 \( -91.589 \)。 \( R^2\approx 0.812 \) 。对应的加权最小二乘估计以及方差分析表如下：
\[\mbox{表5 加权最小二乘估计及其它统计值}\]\[
\begin{array}{|c|c|c|c|c|c|c|}
\hline
& \quad\mbox{未标准}&\mbox{化系数}\quad &\quad\mbox{标准化}& \mbox{系数}\quad& & \\
\hline &B& \mbox{标准误}& \mbox{无常数项}& & t&Sig. \\
\hline \mbox{常数项}&-0.683& 0.298& & & & \\
\hline \mbox{自变量x项}&0.004& 0.000& 0.812& 0.082& 9.930&0.000 \\
\hline
\end{array}
\]\[\mbox{表6 方差分析表}\]\[
\begin{array}{|c|c|c|c|c|c|}
\hline
     &\mbox{平方和} & df    &\mbox{均方} &F &    Sig. \\\hline
\mbox{回归} &0.006 &1 &0.006 &98.599 &0.000\\
\mbox{残差} &0.003 &51 &0.000 & \ \ & \ \ \\
\mbox{总计} &0.009 &52 & \ \ & \ \ & \ \\
\hline
\end{array}
\]由表5知，加权最小二乘估计 \( \beta _0 ,\beta _1
\) 分别为 \( -0.683,0.004 \)，回归方程为
\[\hat {y}_w
=-0.683+0.004x\]与普通最小二乘估计法得到的回归方程 \( \hat
{y}=-0.8313+0.0037x \) 进行比较，他们具有一定的差异。
结合表6，差异尤为突出的是残差平方和，普通最小二乘估计法得到的残差平方和 \( S_E^2
=126.8697 \)，加权最小二乘估计法得到的残差平方和 \( S_{wE}^2
=0.003 \)，这说明加权最小二乘估计的效果好于普通最小二乘估计的效果。

概率论与数理统计课程列表：

第1章随机事件与概率

-课程发展概况及概率的三要素

--课程发展概况及概率的三要素(刘琼荪)--9:09min

拓展知识资料文件与下载

拓展知识

一元加权最小二乘线性回归模型

概率论与数理统计课程列表：

第1章 随机事件与概率

第2章 一维随机变量及其分布

第3章 多维随机变量及其分布

第4章 随机变量的数字特征

第5章 极限定理

第6章 数理统计的基本概念

第7章 参数估计

第8章 假设检验

第9章 回归分析

拓展知识笔记与讨论

也许你还感兴趣的课程:

第1章随机事件与概率

第2章一维随机变量及其分布

第3章多维随机变量及其分布

第4章随机变量的数字特征

第5章极限定理

第6章数理统计的基本概念

第7章参数估计

第8章假设检验

第9章回归分析