2.3 所谓学习、归类而已（III）在线视频

大家好

欢迎来到《R语言数据分析》课程

今天继续与大家交流

《所谓学习 归类而已》的第三部分

我们都知道 所谓的机器学习

其实就是从数据中学习到相应的

规律 模式 模型

或者说是发现相应的一些知识

那好

如何从这大量的数据里面提炼出

这个模式和模型出来呢

我们来看一看这个具体的过程

实事求是地讲

机器学习其实就是什么

其实就是实事求是

为什么这么说呢

我们所谓的 实事 它是什么

它就是数据

求呢 就是算法

求的结果是什么

从数据里面得到什么呢

模型

所以 我们假如用一个简短的

成语来形容机器学习的话

其实就是 实事求是

基于某个算法

从数据里面学到相应的模型

我们经常说算法模型

算法和模型是有区别的

算法是过程

模型是结果

这个还是比较抽象

那具体是能怎样从这个数据里面

把这个模型给学到的呢

这个学习的过程是怎么样的

我们来看一看具体的学习过程

我们已经能得到的是什么 是数据

然后想学习到的是模型

关键是在于什么呢

关键在于算法

需要通过某个算法

从数据里面挖出这个模型出来

或者说学习到这个模型

或者说训练到这个模型

这是我们机器学习的一个主要任务

那好

我们知道

在前面的课程里面已经讲到了

绝大部分的规律都是什么呢

都是从特征属性

到因变量的一个映射

也就是什么

y=f(X)

一旦做完这个变换

将这个y和X划上等号之后

基本上这个规律就找到了

这个模式也找到了

也就识别出来了

那好 这里面其实我们关键还在于

这个算法如何才能从这个数据里面

把这个规律找到呢

或者说我们有没有一个神奇的算法(奶牛)

一旦交给(它)数据之后

(它)就能自动学到这个规律

把这个 f 找到

其实没有的

虽然我们希望是有

而且我们一般说到人工智能

说到机器学习 仿佛很高大上

仿佛就有一个神奇的算法

能从这个数据里面自动找出这个什么

隐藏在黑暗角落里面这个规律出来

但其实没有

我们能做的是什么呢

我们能做的

只是说事先我们已经知道有一些模型

已经有一些表征规律的一些(结构)形式

一些模型

有一个模型集

然后我们所能做的事情是通过这个算法

这个算法

它从这个模型集里面选出一个什么

选出其中一个模型出来

这个选出的模型和

和这个实际的f是比较接近

和这个f是比较接近的

好 我们看看具体什么意思

我们所谓的有一个模型集

比如说我有一个什么

H(x)等于什么呢

ax+b 对吧

这其实就是一个模型集

什么意思呢

因为这个a和b取值不一样的话

毫无疑问这个映射关系是不一样的

就针对某个问题

假定说它服从这么一个什么

服从这么一个线性模型

那所谓所学习的过程就是什么呢

找到一个比较好的a

和一个比较好的b

一个比较好的a和一个比较好的b

我们给它加个帽子

什么意思呢

就是这个a和这个b(所构成的函数)

实际上和这个f是比较接近的

比较近似的

然后用什么

用这个最接近的

在这个模型集里面

最接近的这个小h 用它来做什么

逼近这个f

或者用它来近似 这个f

咱们同学们就会问了

这个f不是不知道吗

那怎么能说这个h

是否是约等于这个f

或者是是否是近似于它呢

这里边其实我们能拿到什么

我们能拿到数据

其实我们所谓的数据

比如有x1 x2还有y 对不对

那x1有什么取值

x2

比如有第一条记录

第二条记录 等等

有多少条记录

其实我们现在拿到这么一个数据集的时候

我们考虑一下看看 这个数据集是什么

它其实就是一个这个f的什么

一个列表法

我们以前就学过函数有三种表达方法

一个是解析式

一个是图像

还有一个叫列表

这当然是在应该在初中的时候学过的

但是我们在上大学之后

慢慢已经将这个列表法

都已经忽略掉了

当我们现在重新再看

重新学习

这个机器学习 数据分析 数据挖掘的时候

你发现什么

我们拿到的数据其实就是什么

其实就是这个

f的一个列表法

那好 我们所谓的这个

h和这个f比较相近是什么意思呢

它和实际观察到数据

和这个列表法的函数是比较接近的

有一个相应的评判的标准

它确实 比如说 通过这个ax+b

和这个实际的观察到y相比较

它是比较接近的

假如比较接近的话 那怎么样

认为它就是约等于什么

就是和这个实际观测到这个f

隐藏在这个黑暗角落里面

f是比较接近的

至于这个实际的f究竟是哪种形式(解析式)

这个其实永远都没有人知道

我们只是通过这个数据来看

它确实比较相近

那我就认为什么

就认为这个模型

已经学到了 这个映射关系

已经有有所认识了

我们说的有所认识是指什么意思呢

只是一个化归的过程

化未知为已知

用已知逼近未知

就是已经知道一个模型集了

知道那个大H(x)

然后从里面挑出一个

h(X)出来来逼近它而已

并没有一个直接的办法

将这个f直接求出来

这其实就是一个什么

一个机器学习的过程

一旦我们学到这个h之后可以怎么样

拿到新的数据之后

就可以通过这个h做预测了

这是一个基本的学习的过程

当然我们需要说的是什么呢

在机器学习里面

我们一般都要将这个数据分成两部分

一个是训练集（用）来训练这个模型

然后一个测试集

来测试这个模型的性能指标

为什么呢

因为我们讲了

其实所谓机器学习

是从过去的数据总结出

一套模式出来

归纳出一套模式出来

然后希望能外推到未来

那这外推这个泛化的过程

是我们最关注的

但是外推泛化

其实我们目前

我们还不能拿到未来的数据 怎么办

先把已有的数据分成两部分

这两部分是没有交集的

就是通过其中一部分训练数据

训练出来一个模型

然后假如在这个测试集上面

发现效果也不错

那就可以认为

这个泛化的过程

可以通过这个

测试集来近似的表达

所以这也就是我们看一下

就是机器学习一个

大致的流程

我们对这个机器学习

其实我们可以简单总结一下

是什么呢

机器学习 就是通过算法

从模型集里面

选出一个最贴近观测记录的模型

用来表达我们想要的

关系结构 就是那个f对吧

当然 要刻画这个贴近

什么叫贴近呢

要刻画这个贴近的程度

就需要一个什么 量化的标准

这个量化标准称之为策略

这个时候

我们就引出了机器学习三要素了

算法 模型 策略

算法 模型 策略

这将我们整个这个机器学习这个过程

或者说具体是如何把这个模型学到的

勾勒出来了

我们通过这个过程也可以看得出来

其实机器学习可以把它当成一个什么

当成一个搜索问题来看

这个机器学习其实正儿八经在做什么

是在做研究（re-search）

为什么他在不断的

从模型集里面选最好的那一个

当这个搜索的过程更应该看到一个什么呢

更应该看成一个优化的过程

因为我是最好的那一个

也是一个优化的过程

说到这个优化的话

具体是什么呢

就这个学习策略

其实和我们前面讲到的

控制规律是如出一辙的

无非是 利用偏差 消除偏差

利用偏差 消除偏差

我们来看看什么意思

我们可以定义一个优化目标

学习过程其实就是达到

这个优化目标的过程

优化目标是什么呢

就让这个候选集里面的这个函数h

它和实际的这个y尽量什么

尽量它偏差小一点

尽量偏差小一点

当然我们这里面这个是损失函数

对于单个的样本来讲是损失函数

总体来讲我们把这个(求和部分)称之为代价函数

当这个偏差最小的时候

那我认为相应的h是最好的h

就像我们刚才看到的

y=ax+b 这个a和b找到了

那也相当于什么

相当于这个模型建立的过程也就完成了

当然这个策略我们称之为

经验风险最小化

经验风险最小化

当然还有另外一个策略叫什么呢

结构风险最小化

它在经验风险最小化的基础之上

还加了一个什么呢

就前面这个(注:应是求和∑部分)是经验风险最小化

在这个基础之上加那个什么

加了一个正则项

这个道理是什么呢

因为我们刚才讲到了

所谓机器学习是从过去的

已有的数据里面

选出一个最适合的模型

并把它用来什么

用来外推到未来

也有可能是从一个地方

外推到另外一个地方

一个情境里面

推(广泛化)到另外一个境界里面去

那好 当需要这个泛化的时候

需要这样外推的时候

最好这个模型不要太复杂

我们在做机器学习的过程中

其实我们是要借助这个泛化和外推

那什么样的模型最有泛化和外推能力呢

越简单的模型它生命力越强

也是过去比较简单的模式

在未来可能持续的可能性应该是更大的

所以这个时候它在模型的

在模型代价函数的基础之上

再加了一个什么

表征这个模型复杂度的一个正则项

这就是我们所谓的 经验风险(最小化)和结构风险(最小化)

这么两种学习策略

其实无非它最终都是一个什么

都是个优化的问题

最终都是一个优化的问题

我们重新回顾一下

所谓的建模 它真的是“建”吗

真的是一砖一瓦垒建起来的吗

我们考虑到这个问题

结合我们刚才看到这个过程

其实不是

我们所谓的建模

包括我们以前学过的数学建模

包括我们现在正在讲的(机器学习)算法建模

它其实都是什么

它其实更多的是一个什么

选模的过程

它不是建模的过程

都是用(从)已知的模型集

里面找出一个最好的模型来逼近什么

逼近未知的规律

未知的规律究竟是什么呀

其实我们不知道 我们只是什么

我们只是用它 来逼近而已 近似而已

只是一个选择的过程

是一个选模的过程

所以我们可以总结一句话

叫模型不在于构建

而在于什么 而在于选择

从这个意义上讲的话

其实我们常说的建模

这两个字其实并不是特别准确

我们现在对模型建立的过程

基本上有一个大致的了解

它是一个搜索的问题

它是个优化的问题

它是一个选择的问题

我们再通过一个相对比较直观的比喻

来直观地阐述一下

机器学习的过程

这个建模 机器学习

建模的过程是什么呢

这个建模的过程其实就好比什么呢

好比是量体裁衣

好比是量体裁衣

也就是说我们做数据分析的人

做机器学习 数据挖掘的人

其实跟我们做裁缝的在某种程度上讲

它是有它的相似性 相通性的

什么意思呢

我们不同的模型集其实就相当于什么

不同衣服的款式

要给某个人做衣服的时候

首先来选一个款式

可以选 比如说树模型

可以选神经网络

比如说树模型是中山装

神经网络是这个西装

类似这种

先给它选定个款式

选定完款式之后

具体做衣服的话

接下来怎么办

在确定模型集之后

要真正做衣服的话怎么样

就是开始量尺寸

量体裁衣嘛对吧

比如说假如做那个西装

这个时候相应的参数就得调整

让它尽量贴身一点

这其实就是训练的过程 学习的过程

把相应的参数确定下来

也就是说当模型集选定完之后

剩下的事情基本上就是什么

就是把这个什么

把这个参数确定了

参数确定之后

这个a和b确定了

那y=ax+b也就确定了

相应的模型 也就选择好了

也就确定了

也就完成了我们所谓建模的过程

当然我们尽量希望这个衣服是比较贴身的

也就所谓的经验风险最小化

让它差别越小越好

当然 假如说问题情境本身是会变的

这个小孩可能会长大一点

今年穿的衣服可能适合

过一两年之后不适合了

那这个时候我们希望什么

这个模型相对宽松一点

相对简单一点

它泛化能力强一点

这就是所谓的什么 结构风险最小化

所以我们基本上可以通过这个量体裁衣的过程

可以对前面的模型的策略也好

模型的建立的过程也好

模型本身是什么也好

有一个直观的认识

本次课到此结束

谢谢大家