第4章 源于数学、归于工程在线视频

大家好

欢迎来到《R语言数据分析》课程

今天咱们交流方法论的

最后一个话题

最后一个话题

源于数学 归于工程

在我们前面格言联壁里面就说到

数学是什么

是宇宙的语言

是吧

我们一个比较俏皮的说法

说上帝是一个数学家

为什么

无论是我们所谓的自然系统

还是我们的社会系统 经济系统

其实你发现各种各样规律

最后什么都应该是通过什么

假如我要精确刻画它的时候

最后都是通过数学语言

也就说我们在描述我们身边的系统的时候

客观存在的系统的时候

基本上最后都要借助于什么

数学

借助数学来描述的

尤其对我们科技工作者来讲

数学更显得特别重要

更加显得重要

我们从小到大

从小学开始

就开始学习 数学 语文 英语等等

应该说从小学一直学到大学

到研究生

数学始终是

对于理工科而言

都是必不可少的一门学科

花的时间是最多的

应该说占据学校教育时间应该最长

而且我们对科技工作者而言

基本上是终生都要和什么数学打交道

还有一个说法叫什么

被如此称颂的高技术

本质上都是什么

都是一种数学技术

就是无论你是哪个领域的

所谓的高技术

最终都是一种什么

数学技术

其实包括我们在报考研究生的时候

也会发现

很多老师都说 我这个专业

对数学要求比较高

也就是说无论是从这个

我们对客观世界认识也好

还是说我们具体从事一些

研究性的那个科研工作也好

我们发现数学都非常非常重要

但是我们想说的是什么

理想很丰满 现实很骨感

我想给大家举个例子

比如说这个根号2

相信大家一看都知道

就比如说我现在有一个三角形

两条直角边分别长度都是1

然后斜边的长度是多少

根号2

这个其实我们太熟了

在中学的时候已经学过了

这个根号2这个无理数

但是我想说的是

我们真的有用吗

我们生活中真的用到了这个根号2吗

比如说你买菜

大妈说

这个菜是一块六 一块五

那你想还价

我这个价钱要不……阿姨

要不这个菜就根号2吧

根号2块钱一斤

大妈肯定得说你了

因为这个时候她都不知道怎么把这个钱找给你

是不是

所以在实际生活中的话

其实像这些

从初中开始学到的数学知识基本上

都已经很难用得到的

可能小学学过的一些

四则运算可能确实有用

但再往后稍微深一点的这个数学知识

你在生活中的话几乎是用不到的

当然我们一个说法是

虽然说数学没有什么实际应用场景

但是数学我们归纳为什么 就退而求其次

说数学是一个什么思维的体操

数学是思维的体操 有利于我们什么

让我们的思维更加严密

更加有逻辑 更加有条理

但我想说的是什么

虽然我们一直在倡导

说“数学是思维的体操”

但是对于很多人来讲

对于大部分的小伙伴来讲

可能数学是一个思维的体罚

很多同学都恨不得考完数学之后

赶紧把这个数学书给扔掉

当然造成这种窘境或者说这个矛盾

我们前面说数学是宇宙的语言

我们科技工作者一辈子

都要和什么数学打交道

但同时我们又发现

数学在实际生活中也没什么用

这个矛盾产生的

给我们心理落差很大

那这个根源究竟何在

关键还在于什么

我们数学没有把它实际应用起来

没有学以致用

只有说我们真正把这个数学

能用到具体场景里面去的时候

在具体的情境里面把这个数学用起来的时候

我们才有可能说

觉得这个数学本来就应该

是我们知识体系的一部分

应该融入到我们血液里面去

现在有个好的事情是什么

就当我们开始学习机器学习

数据分析 数据挖掘的时候

你会发现数学是一个再自然不过的事情

数学里面很多的原理

很多的公式

我们确实有一个更加什么鲜活的认识

为了说明这一点

我想先引用一篇文献

这篇文献从哪来

这个期刊是science 大家都知道

这是属于那个顶级的学术期刊

它在这个1988年的时候就发表过一篇论文

这个论文题目叫作 The science of patterns

模式的科学

我们说到模式的科学肯定想到什么

模式识别

但是这篇文章讲的主题

它其实不是模式识别

是什么

大家看看

mathematics

什么意思

数学是关于模式的科学

数学发现什么

数字中的 空间里面的

科学里面的 以及计算机里面

或者说我们想象中的一个什么 一个模式

并且通过这个模式怎么样

来解释 来预测

我们各种各样的现象

所以我们说数学是什么

数学其实就是模式的科学

从而我们也看得出来

数学其实和我们所谓的

机器学习 模式识别 数据分析 数据挖掘有一个什么

一个天然的联系

我们再来看看

看看这个专著 看一本专著

它关于数学怎么说的

这本专著的名字叫什么

《数学的语言》

在最近大约30年间

一个为大部分数学家所同意的

有关数学的定义才终于出现了

是什么

数学是研究模式的科学

我们通常意义上讲数学是什么

关于空间形式和数量关系的一个学科

然后现在真正广为认同的是什么

数学是研究模式的科学

这里面的模式是什么

可以是数值的模式

形状的模式

运动的模式

行为的模式

或者说全国人口投票的模式

重复机会事件的模式

等等

我们一看这些其实什么

其实它和数据分析 数据挖掘确实是贴得太近了

它本质上就是相通的

所以它应该存在一个天然的联系

通过这个文献和专著我们可以看得出来

数学和机器学习确实是紧密相关的

在学习机器学习 数据挖掘的相关知识的过程中

我们确实要比较注重什么

源于数学

在数学里面我们找到相应的一些理论基础

我们以前在学数学的时候

可能更注重的是什么

是解题

来证明某个命题或者解决某个数学问题

解题可能多一点

但我们一旦开始学习机器学习的时候

这时候我们可以什么

重新温习我们的数学知识

并且由解题上升为

解决实际的问题

这其实也是什么

也是我们学校教育里面最要关注的一点

就是不仅仅说我会解题

而是为解决实际的科学或者是工程问题

其实我们开始学习机器学习的时候

有一个特别好的事情是什么

我们所有数学都是情境化的

或者说它所有的抽象的数学理论

概念都变成物化了

都情境化了

比如说我们从小到大都在学的

数学里面有什么 四则运算

函数 内积

随机变量 条件概率等等

很多概念都非常抽象

它都是仿佛是规定好的

就是这样的

比如说我们前面在讲这个

在开篇的时候我们讲到

气象万千 数以等观

我们对这个等号一个重新的认识

再比如说我们这个四则运算也是

比如加减乘除

比如说我们现在有一个(向量)X

减掉某一个值

再除以某一值

这也是一个减法

一个除法

也很简单

但我们以前可能总觉得这只是一个规定而已

它就应该是这样做的

从小到大都觉得这个数学上的一套规则

一套法则

我应该按规定就这么做

但实际上假如我们一旦有了数据之后

有了数据分析这个情境之后

所有的加减乘除也好

后面所有的概念也好

它都是活生生的

看得见 摸得着的

是非常鲜活的

比如说我们这举这个减法和除法为例

所谓减法

比如说这个向量减的某个值

它相当于什么

相当于我整个这个数据在平移

那假如我再除一个某个值的话

相当于什么 在这个挤压(缩放)

所以这个所谓的减法和除法

其实到我们数据分析里面来

它都有什么具体的含义了

再比如说我们说内积

内积什么

内积就是两个向量

每一个分量

每个元素相相乘 乘完之后再相加

也是这么一个具体的规定

那这个时候其实

假如我们没有这个具体情境的时候

我们也不知道为什么是这样做的

仿佛就是强迫我自己

非要做这么一套数学运算

但其实假如我们

一旦开始学习数据分析的时候

会发现

比如每个向量都代表相应的一个什么特征(的组合)

不同特征的取值

就这两个向量的内积表示什么

它同心同向性 相似性

对不对

性

那这个时候我们对这个加减乘除也好

那这个时候我们对这个加减乘除也好

函数也好

或者这个内积的概念也好

等等

你会发现它是鲜活的

有血有肉的

所以它就不再是抽象的

在做一个思想的体罚了

那是什么

你发现这个都是可以

非常鲜活的一个情境摆在面前

你是有感觉的

所以这是我们学习机器学习

最幸福的一个事情

把我们以前的数学知识都给盘活它

那具体来讲

比如说在机器学习里面有

哪些数学是需要重温的

或者是需要应用的

当然在不同教材里面都有不同的说法

很多教材在后面都有一个附录

把相应的一些数学知识

比如说有概率的

有优化的

有线性代数的等等

但是我们这门课想提出

就比如说在机器学习里面

有两个数学视角是需要关注的

一个是概率 一个是几何

先说概率

概率毫无疑问属于我们数学的一个分支

我们以前在学习概率论与数理统计的时候

就会涉及到 比如说

参数估计

这里面的估计

其实和机器学习中的学习

估计和学习两个词几乎就是什么对应的

后面我们要讲一些具体的

一些算法的时候也会用到

比如说极大似然估计

用来估计相应的参数

一旦完成这个参数估计的过程

其实也是完成了什么

这个机器学习的过程

它本质上都是相通的

在比如说我们以前学过什么贝叶斯公式

一个先验概率和条件概率之间的关系

拿到新的证据之后 怎么来调整这个概率

那这个时候其实我们可以把这个

贝叶斯公式也拿过来什么

拿来做分类

来识别具有某些特征的情况之下

它应该属于哪个类别

所以我们一旦有了概率的视角之后

你会发现

包括我们后面要讲的

比如说决策树里面要讲到这个信息增益

它也是个什么不确定性

也通过什么 概率 进一步来定义这个信息熵

来定义这个信息增益 等等

我们一旦有了概率的视角之后

你会发现后面我们很多的知识体系

就是机器学习里面很多概念都比较容易理解了

这是一个概率的视角

另外一个视角是什么

另外一个视角是几何的视角

我们拿这个数据之后

比如说我有了这个不同的列

有不同的属性

不同的取值

那好 其实这个属性

这个特征就可以张成一个数据空间

我们后面做的分类也好 聚类也好

都在这个特征空间里面进行操作

比如说特征空间里面不同的点

它之间的距离

根据距离远近

来找这个距离关系

那其实就是在做什么

就在做聚类分析

当然也可以根据什么

根据这个数据空间的密度

它的哪些地方是比较稀疏一点的

哪些地方是比较紧密一点的

也可以用来做什么

可能用来做聚类

再比如说我可以对这个特征空间进行划分

不同的子空间里面贴上不同的标签

其实就在做什么

我们机器学习里面另外一个主题叫分类

所有这一些

包括我们后面

可能讲的一些具体算法的时候

比如说在讲神经网络也好

讲其他一些算法的时候

我们可能用到

这个什么梯度下降方法来学习它

梯度下降

其实也是在(特征和误差张成的)空间里面做事情

比如说这个时候就涉及到一个误差的问题

一个误差的问题

如何使这个误差最小

所以一旦我们有了这个几何的视角

这个数据 数与形的关系就更加紧密了

我们的数据我们的数值

和我们具体的这个几何形状应该是结合起来

考虑这个问题

一旦二者结合之后

你会发现什么

我们对于很多算法的理解

就更加深入了 也更加直观了

所以这是我们想强调的机器学习里面

另外一个非常重要的视角

就是几何的视角

通过几何的视角来认识我们的算法

认识我们的模型

为了说明我们在机器学习里面

概率和几何视角的重要性

我想给大家看一下

以这个有监督学习为例来看一下

如何通过这个概率和几何的视角来学习

或者说把整个算法模型给串起来

用一条主线给串起来

当然我们这是以这个有监督学习为例

有监督学习的方法

或者说分类回归的方法有很多种

比如说这个caret的包里面就提到了

支持237种分类回归的算法

当然咱们这个作为一个引导性的课程

师傅领进门 修行在个人

咱们这门课是引导性的

所以讲的模型相对是比较典型的

讲这么大概这么七种

近邻法 树模型 随机森林

朴素贝叶斯 逻辑斯蒂回归

人工神经网络 支持向量机 这么几种

这些算法虽然说原理都不同

但是假如我们一旦有了概率与几何的视角之后

你会发现它们都是相通的

我们可以用一条线把它串起来

举个例子

比如说所谓的近邻法什么意思

近邻法就是不同的属性

不同的特征 张成一个数据空间

比如说我们现在是一个二维的数据空间

那好 不同的观测对象

不同的不同的记录

就在这个数据空间里面

作为一个点存在的

那好 要对它进行分类的话

通过这个近邻法来进行分类的话

其实什么

其实在数据空间里面环顾四周

看看我身边的小伙伴

它头上贴的标签是什么

比如说我们这边环顾四周

三个小伙伴有两个是三角形的

那我这给自己贴的标签是什么

也是三角形

这就完成了分类工作

所以近邻法它这个从直观上来讲

它其实就是数据空间里面

环顾四周

看看我身边的小伙伴

它头上贴的标签是什么

少数服从多数

当然假如我从空间划分的角度来讲

这个近邻法

尤其这个最近邻(k=1)的话

它相当于什么

相当于每一个点

这个训练集的每一个点

都有一个势力范围

比如说这里面有两类

一类是○ 一类是×

假如我一旦有新的那个测试集来了

一旦有新的数据点来了

我就看看我落入哪一个点的势力范围

然后我把什么把

把我自己的标签贴得跟它一样

这其实是什么

还是一个什么

空间的视角 几何的视角

还是个几何的视角来看这个问题

当然除了这种

那个近邻法这种划分数据空间的方法之外

还有这个树模型的方法

还有另外一种方法

刚开始的时候

我这里面可能有多种类型

在这个数据空间里面有种类型

一旦我将这个数据空间进行细分

比如这样细分

再细分再细分的时候

你会发现什么

这个子空间里面相应的标签都是一致的

那好 我划分完这个子空间之后

其实就可以做什么

其实就可以做分类了

这也是从直观上讲

我们那个树模型其实也就是一个什么

就是个数据空间划分的过程

当然假如我们有了一棵树

我可以对这个对我们的规律进行刻画

可以来进行分类

假如我拥有一片森林的话

就有多棵树的话就什么

我们有可能会

这个分类效果可能更好

当然进一步的这个森林这一块

这种组合学习方法可以进一步推广到什么

进一步推广的深度森林

就是南京大学周志华老师

提出来的深度学习的一种 深度森林

好 在这个树模型里面

我们看得出来它其实都是什么

通过划分子空间来降低这个不确定性

降低这个不纯度

然后假如我们通过

这个不纯度不确定性的角度来讲的话

它其实是概率的问题了

由这个几何的观点

我们再借助另外一个视角

前面这边是什么

前面这边是这个几何的视角

下面这个什么

我们开始换一个视角

一个概率的视角

它其实是什么

就是一个不确定性或者不纯度降低的过程

当然我们除了通过这个切分子空间

这是一种方法

降低不纯度 降低这个不确定性

还有一种方法是什么

比如说我刚开始已经知道一个先验概率了

然后我现在有了新的证据之后

有了新的特征的取值

相当有一些新的证据了

这个时候我也可以怎么降低这个不确定性

通过这个条件概率来做什么

做分类做预测

这就我们所谓的什么

朴素贝叶斯的方法

当然这个朴素贝叶斯是通过这个条件概率

利用这个X的信息

来对这个先验概率进行什么 进行调整

是一个新的证据进行调整

还有另外一种方法是什么

另外一种概率

也是利用这个X的信息

但是我是直接通过

sigmoid这么一个函数

我直接将这个数据

将这个信息直接映射到[0, 1]区间里面去

我看它概率取值多大

取值偏向1的话

这个事件发生可能性大

偏向0的话

这个事情发生可能性小

从而也实现了什么

也实现了分类

这就是我们所谓的什么

逻辑斯蒂回归

逻辑斯蒂回归

当然逻辑斯蒂回归的话

我们刚才讲了

其实就是不同的什么

有不同的这个特征的取值

自变量输入之后

和这个偏置综合在一起

把这信息综合在一起之后 进行一个什么

进行

刚才我们这个sigmoid的一个转换之后

一个输出

它就相当于一个计算单元

相当于一个计算单元

一个逻辑斯蒂回归模型相当于单个的计算单元

假如我有多个计算单元的话

多个计算节点的话

它其实就是什么

就是我们所谓的人工神经网络

这就是人工神经网络

这么一个过程

人工神经网络可以是很宽的

比如说层级比较少

但是每一层都有好多个节点 是比较宽的

也可能是非常深的

有好多层 对吧

很多层的神经网络其实就是什么

就是深度神经网络

最后一个

比如说我们这个支持向量机

这是我们后面要讲的一个模型

支持向量机是什么

看我这个数据空间里面

我来找一个什么分类超平面

将它分成不同的类

它的这个代价函数和逻辑斯蒂回归的

代价函数其实非常相似

好 我们通过这个概率和几何的视角可以发现

不同的模型 不同的算法

它其实都是相通的

我们可以用一条主线把它串起来

一旦我们有了这个概率和几何视角之后

会发现我们对这个模型的认识应该就更深刻了

所以这也是我们为什么说

在机器学习里面

这个概率和几何的视角

始终是值得我们关注的

当然我们刚才在讲的过程中

比如近邻法也好 树模型也好

逻辑斯蒂回归 支持向量机等等

这里面我们刚才讲只是蜻蜓点水

这里面讲的过程

具体算法原理

大家只是知道

有这么一个概率和几何视角就可以

能用一条主线把它串起来

具体的算法原理

在咱们这门课的第三部分内容会展开讲

前面我们就对

这个机器学习里面要源于数学

这个概念我们做了一个最基本的交代

但同时我们想说的是什么

在源于数学的同时 一定要归于工程

一定要归于工程

什么意思

就像我们套用歌德的一句话

理论是灰色的

而工程之树常青

工程之树常青

因为数据分析 机器学习也好

数据挖掘也好

它本质上都是什么

都是实践性的

它实践的内涵非常丰富

我们有一句话叫做什么

单凭语法不能激起诗意

同样在机器学习 数据挖掘这个过程中

我们单靠一些算法

单靠一些逻辑

其实我们没有办法产生新的思想

没有办法产生好的idea

也不可能产生一些非常精彩的结论

更多的需要什么

需要我一些具体的情境

需要一个非常好的情境

来把它什么应用好 实践好

比如说面对同样的问题

不同的什么

不同的数据分析人员

有些人可能能抓到好的点子

应用适当的模型

得到非常精彩的结论

另外有一些 可能生搬硬套一些模型

但最后得到结果可能只是什么

事后诸葛亮

大家都知道的结论

所以在我们做具体数据分析的时候

除了要源于数学 对我们的算法原理

一个非常深的理解之外

还一定要注重 工程实践

我们要找对这种感觉的话

最好的方式就是

在具体的情境中进行一个实战

而且我们还有一个需要交代的地方是什么

唯有实践才是完整

就像我们刚才看到这棵树左侧是什么

左侧是像那个树枝一样

其实假如就这个理论和实践的关系而言

理论就好比什么一个个单词

而实践相当于是这个句子

我们在说话的时候

你肯定不会说我学好了单词之后

我就会说话了

就会说这个英语了

其实不是的

你更多的什么

你再通过这个句子完整的练习

才有可能真的掌握好这个英语

同样在学机器学习 数据挖掘的时候也一样

只有工程实践才是完整的

任何一个再小的工程 它都有什么

都有书本上这些算法理论所覆盖不到的地方

你只有去实践的话

才能掌握这套工程的意识

工程的思维

才慢慢有这个工程的素养

才知道面对具体情境的时候

怎么找这个数据分析的点

并且通过适当算法得到非常精彩的结论

所以这是我们想强调的

除了源于数学之外

一定得归于工程

要多一些工程思维

我们一般讲要由感性认识

上升到理性认识

但在学机器学习 数据挖掘的时候

完成了第一个由感性认识

到理性认识的基础之上

还需要什么

进一步由理性认识

再次上升到你更加有深切体会的感性认识

这是我们这门课里面

想跟大家一块交流的一个观点

就是要源于数学

同时一定得归于工程

在实战中 在情境中找到对数据的感觉

对算法模型的感觉

到此为止

我们关于这个方法论这一部分内容

基本上就结束了

因为关于方法论的话

更多的是我自己 我个人在

前期的一些数据分析 数据挖掘

机器学习一些实际项目里面的一些心得体会

里面的内容

个人观点可能是相对多一点

所以也希望大家

以怀疑或者是批判的态度来交流

另外还需要补充一点

就是我们关于方法论的话

其实它并不是一个单独的一个章节

方法论我们讲完之后

我们后面要讲这个相应的工具

尤其讲后面具体算法模型 讲实践的时候

其实更应该重新温习相应的方法论

在具体的学习算法模型的时候

我们再重温这个方法论的话

可能有些新的体会了

本次课到此结束

谢谢大家