问答及答辩结果在线视频

我先问个问题

就是你这个机会约束

就是说相当于是一个不等式

然后你让它以一个概率一个

就是这个你能不能

举一个现实中的例子

就是说它的这个物理意义

其实这个机会约束

我们通常又叫概率不等式约束

就是比如说一件事件

它如果在一般情况下

就是它确定成立或者不成立

就是比如说我进行一个投资

让它亏损还是盈利

这是个确定性的事件

如果对于确定性约束的话

就是我的收益

必须要大于100或者是1000

那么如果是机会约束的话

就是因为会受

很多随机因素的干扰

那么这个收益肯定不可能

我严格的让它

就是大于100或者大于1000

只是说以多大的概率

比如说以95%的概率就大于100

以50%的概率才能大于1000

就这样一个形式

那就是说你这个

引入了这个机会约束以后

你这个相当于这个分析方法

跟原来的方法也不一样了

对

主要是因为在机器学习中

很多都是具有一定不确定性的

这种随机因素是很多的

那么用机会约束就能很好的

建模这种随机的因素

好

还有一个问题就是

你这个论文里面说这个机器学习

这个核心是建模与优化

但实际上这个我感觉这个

自动控制这个核心

也是建模与优化

就是这个控制理论

前一段比较热的

是就是把很多问题变成这个

叫线性矩阵不等式

也是相当于是

然后线性矩阵不等式

再用这个计算机来求解

就是你现在这些发展了一套方法

这一套方法

对这个可能的控制理论里面

有什么这个作用

确实跟您所说的一样

控制理论其实也是

很多时候是建模然后包括优化

当然在机器学习中

它这个建模和优化就是侧重不一样

在控制里边更强调的是反馈

那么机器学习通常是从数据中

是一种单向的一种学习

当然机器学习里边其实

也跟控制结合的非常紧密

像我们增强式的学习

叫reinforcement learning

其实就是跟这种控制论

结合的非常紧密的机器学习方法

那么在控制中

可能会有一定的应用

因为我对控制研究不是很多

所以具体能用到什么场合

不是很了解

控制现在也说是

什么基于数据的什么控制的什么

就是这个可能是不是跟你这个

还比较有关系

对

有可能

就是如果控制里边带有约束的

那么我们也可以考虑

如果在这种约束中去

（原问题）带有确定性约束

那么我现在可以考虑随机性

是然后将这种确定性的约束

也转变成这种

带有随机性的机会约束

然后可以可能能用到里边的一些

我这里边的一些方法

还有一个小问题

就是你这个中文名字说是方法

然后你这个英文题目变成算法

这个机器学习

是不是就这是通用的

方法应该是更大一点算法小一点

方法可能还包括了模型这一块

行 好

我问个小问题

我学习跟你

第一个你在这个TMPM算法里边

你这个原来的复杂度是N的4次方

对

这个我理解

后来你说我一变换

就变成了N的线性

我想不通

我可以把它化解到N的线性

但是它带来的损失是什么

行 我明白您的问题

主要这里我说的用的是一个

最原始的这种标签交换方法

就是我在所有的空间中

去搜索两个可交换的样本

然后去判断目标函数

去显式地计算目标函数

然后看它是不是

可以使目标函数增加

如果不增加

那么我再去搜索下一对

是吧

那么现在我是利用了问题很多性质

就是首先我可以避免

去显式地计算这个目标函数

因为我只要比较一个增量

看它是否会增加就行

那么就是用了很多问题的这种

比较独特的性质

可以避免去在所有的

去进行全局空间的试错

去所有的都去试一遍

然后并且显式的

把这个目标函数计算出来

现在我就相当于可以

对样本空间先进行排序

然后去有序的进行搜索

可以避免大量的这种重复计算

然后应该来说

它对于优化来说

它是没有损失什么信息的

只是说我利用了问题的性质

然后充分的利用

这个问题本身的性质

然后得到了更好的效果

我的问题就是这样

就是如果我都准确的能够知道

一个问题的结构的话

对

其实这个解就好做多了

对

现在我们的问题

大部分的问题就是不知道

是

所以你这个算法的适用性

如果是严格的取决于

对问题结构的了解的话

可能你的这个适用范围

就受到比较大的约束

所以这就是我问你的

对

你要分清你这个什么样的情况下

对

我是可以的

没错

对

所以这个是针对于

我们算法的一个特别的提升

因为与之相应的最为经典的

这种直推式支持向量机

它也用到了标签交换的算法

那么它的标签交换是很容易的

因为它目标函数

就是一个非常简单的形式

我只要判断它两个东西

跟那个Mmargin的距离

直接看到它的和

是不是大于某一个值就行

那么在我的问题里边

目标函数比较复杂

如果我们也直接

照着它的去做的话

可能复杂度就很高

那么对于我们这个模型

我是可以利用自身的一些性质

来提升它的效率

另外还有一个也谈不到问题

就是你后边讲那个例子的时候

你喜欢说一句话

就是我们这个方法

比别的方法稳定

我就想稳定就好吗

对

就是半监督学习里边

因为它的有标记样本比较少

然后通常我们要检验一个模型

是不是好

我们需要事先对它验证

才能去用到位置的问题上去

所以通常会做交叉检验

或者这种事先的这种检验

那么在半监督学习里边

这种标记样本非常少

所以我们要做

交叉检验是很困难的

那么如果我一个模型参数很多

我当然可以在训练集上

得到很好的效率

但是我在这个特殊的问题里边

在半监督学习里边很难得到验证

所以一个算法的稳定

其实也是衡量

半监督学习算法的一个指标

就是我能（通过）引入

更可能少的这种参数

去调节更少的参数

让模型也达到一个

相应比较稳定的结果

所以它也是一个

在半监督学习里边

一个很重要的新的优势

我接着范老师提个问题

聚类在模识别当中

确实是很重要的一件事

但也非常困难

相比较而言它的这种适用性

就更值得去研究

对

你可能刚才提了这个方法

我觉得做的还是非常不错的

那么这个方法就是适用性

你现在有什么样的

一个分析和定位

对

首先聚类方式有非常多

大概我觉得像谱聚类

这一类都是基于这种pairwise

就是成对的这种距离

已经定义了

样本之间的距离来做

然后另一类就是

直接基于原始的数据来做

我们这一类方法属于第二种

就是直接给定样本

然后我不事先去定义它的距离

我直接在原始的这些数据上来做

然后另一类

我们这个方法的局限性

就是它现在还是只考虑

两类的这个问题

非常小的一类范围

因为这主要是

为了要得到这个泛化正确率

对两类问题是比较好去表达的

对多类问题的话

对多类聚类问题如果我们还要去

学习它的聚类数目

其实是很难的

另外一个就是我自身的理解

就是其实本来聚类

也是一个比较有争议的一个话题

就是到底什么是一个指标

因为很多时候同样一个问题

我怎么去聚类

我可能有不同的目的

有时候我需要对人按身高来聚类

有时候我需要按年龄来聚类

但每个人都有自己的

一个期望的目标

那只有当这个聚类的指标

跟你期望的这种结果是一致的时候

你才能有比较好的聚类的结果

所以就是说对聚类研究

其实有很多这种未知的工作要去做

还有很多定义要去规范

对

我这里我觉得

只是做了一个小的尝试

就是提出了一种新的

这种聚类指标

就是以概率形式

来描述聚类的这种效果

那么我们分析了它就是有

可能有很多好的性质

如果我们需要用到这些性质话

那么我们这个方法

是一个比较好的思路

我的理解就是聚类它确实很难评价

对

但是我们还是一般希望设计出来的

聚类方法适用性要越广越好

它实际上是跟这个数据本身的

就是各个类别的这种分布是有关系的

对

对吧

所以我不知道你做实验的时候

有没有多做一些实验

然后对不同分布的

这种类别的数据都做哪些

觉得我能分析出来

它什么样的一个分布的

这样的数据的聚类

你比较适合

什么样的可能你做下来就比较难

因为你是基于概率

对吧

概率的手段弄的

所以按说这一块应该能够找着

比较适合你这个方法的

这种数据的这种分布的可能性

对

就是说确实周老师说的

就说我们其实

对于这种数据学习的问题

任何方法肯定都有它的局限性

肯定是对于某一些数据才更加适合

那么我们这种方法

就首先它只考虑两类问题

那么首先我们对于

很多多类问题暂时是无法考虑的

那么它适用于什么样的数据集呢

根据我们的观察

首先对于高斯型的数据

或者对于这种

对 就是高斯型的

就是数据每一个类别

是具有这种椭球状分布的

然后具有这种中心效应

因为我们主要利用了

它的一二阶统计信息

所以对于这种高斯型

比较类高斯型的数据比较有效

另外一种就是对于高维的数据

因为我们实际上用到的是

将高维数据投影到一个直线上

来再用它的这些均值和方差

那么根据很多大数定理

以及大数定理的这种变形

高维数据讨论到一维上

大部分情况下

都是服从高斯分布的

所以只要维数相对比较高

那么用我们方法

其实也是比较适用的

这个工作做的很好

就是还有方法理论还有应用

后边的话文章的话

也发了SCI文章

还有是权威会议文章有8篇

包括IEEE Transactions有3篇

都很好的

我这个有两个问题

第一个问题是这个论文里边

是把这个机会约束方法

用在了回归然后分类聚类都用了

给人感觉属于这机会约束

你所提出的这些方法就是在

这些机器学习领域里面都适用

那我的问题就属于

这个有没有一些

什么样的参数设置

是对这个方法的性能比较敏感

还有属于因为你从你的计算时间

还有分类的精度

还有或者回归的这种精度

都是比较高都比较好

我就想问一下这个方法的局限性

对

就是说为什么

它能用到各种学习模式

因为前面提到了机器学习

它非常关键的一个问题

就是在于它的建模和优化

那么机会约束是一种建模方法

然后它又能够通过转化

得到很好的被很好的来求解

所以在很多机器学习问题里边

就反正涉及到

建模和优化这两部分

可能都能在上面应用上去

所以它的适用范围会很广

那么它对什么参数敏感呢

就是我们可以看到

它跟原有的约束一个重要的区别

就是它引入了

一个事件成立的概率

对

那么就有一个置信概率的设置

所以这个置信概率

就是设置还有讲究

很多时候如果设置的不合理

这个问题是不能

被转化为突问题的

可能就那个求解的效率

就会大大的损失

然后置信概率

如果你设的很不合理

那有可能有些问题都没有可行解

然后当然在我们有几个模型里面

这个置信概率刚好是可以抵消掉的

所以我们不涉及设计这个参数

所以我们在对于两类问题

我们可以讲这个置信概率

可以刚好抵消掉

可以消掉我们不需要

人为的去设置这个值

所以我们这个算法在很多问题上

跟已有算法一样可以非常稳定

对

好

第二个问题就是你其中有一章

是做了一个这样

一个降维这样一个工作

降维之后再分类

是吧

对

因为现在的话比较流行的这种

Deep Learning 方法

它就属于不是这样做

不是去降维

直接是用这样一个神经网络

来进行分类

从你自己来角度来看的话

你方法和它的方法来比较

会有什么样的

怎么来说呢

可能应用范围有所不同

LDA可能作为一种非常经典的方法

就是很多其他领域的人都在用

那么deep learning

是相当一个比较新的

就是对于大规模数据很有优势

特别是需要进行特征重构的时候

我学习这种进行特征学习

进行这种无监督的特征学习

用很多层网络然后来调参

所以说deep learning

应该是一个比较大规模的

比较学习能力很强的一个东西

那么对于LDA来说

它是一个非常经典非常精巧的东西

那么它可以解决实际中对这种模型

这种复杂度要求就是要求它

复杂度比较低然后比较好用

当然在deep learning里面

可能也能用到LDA的

相关的这些方法

因为deep learning

也是一个很包容的东西

在里边可能也能用到相关的方法

对

我接着那个您那个问题

我再问一下

就是因为你这是个约束

对吧

这个约束可以

我看起来可以用在很多地方

就是你自己可以总结一下吗

什么样的这一种分类聚类问题

是可以把你的约束加上去的

包括刚才那个问的

这个深度神经网络

或者是其他的一些手段

哪些能够把你的约束加过去

替换它原来的约束

您是指具体的问题呢还是说

方法就是现在现有的

比较主流的一些方法当中

你觉得你还能够

把你这个约束用在哪些方法上

主要觉得这个机会约束

是处理不确定性这样问题

就是凡是我考虑数据

单个样本点具有不确定性

或者某一个类别

具有一定的不确定性

类分类都具有这种不确定性

所以就是看方法

对

我就说哪些方法从数学上

可以用你这个约束去再改造它

因为具体的方法

举几个例子就行了

行

像我觉得现在比较相关的一些

像做这种迁移学习

可能就是我在

这一个领域学一个知识

然后用到迁移到

另外一个新的领域

这是个具体的一个学习模式

我觉得这样的问题

很可能也能用到这种机会约束

然后对于像现在

很多新的学习问题

其实也可以讲这种问题进行引入

像这种主要是

这种辨别式的学习方法

在神经网络当中你觉得目前

深度学习不就是神经网络嘛

对

那么神经网络当中

你觉得有没有

可能把你的约束加进去

替代它原来的这些约束

应该是可能的

神经网络它如果

你光是学习这些网络

它通常是不带约束

那么可能很难用上去

但是如果在构建特征的时候

我们用这种Autoencoder

或者是什么带有这种约束的

就能用上去

因为深度学习

我研究的不是特别多

就是大概看了一下

像那种改进的Autoencoder

或者改进的这种 Boltzmann 机

它如果带约束的形式

然后我们可能也能用

这种机会约束进行建模

这个我提一个问题

我觉得你现在这个

现在相当于把这个

这个机器学习领域里面

几个重要的方面

就是监督的半监督的

无监督的这个这三个方面

特别是在监督学习里面

用了你的机会规划来建模

特别我觉得你的贡献

一方面是建模另一方面

就是对模型的转化

如何把一个混合整数规划问题

然后通过模型转化以后

转化成可求解的

一个凸锥上的二次优化问题

这是你的

我觉得是你的一个重点

那么在这些工作里面

你觉得哪个工作

你做的认为是最有力度的

我觉得这个效果这结果是最好的

你怎么认为

我可能现在对自己

后来做的几个工作比较

最近做的几个工作

比较觉得有意思吧

一个是这个无监督学习

因为我们可以看到刚好最近

像UIUC Thomas Huang 他们组也在

也考虑这个问题

然后我觉得这个问题

应该是一个比较有意义的

因为对于聚类本身它去定义

怎么定义这种聚类的指标

然后怎么让这个指标确实可计算

这是一个很关键的问题

我们在论文里面

就是通过转化给出了

这么一个切实可行的这种指标

而且从理论上分析了它的性质

我觉得这个是比较有意思的

然后还是可以值得继续推进的

我问一个问题

就是理论方法上

你还是讲的比较全面的

而且考虑细致的

就是这个实际应用

能不能再多提供一些信息

就是说你这些方法

真是做了验证还是真正用上去了

用上去还有你一直没说出来

因为你这个也没讲

还有这个东西别人的评价怎么样

说你这个东西是有用的

还是你们这个东西

就需要你做个文章的

所以我觉得你实际应用

这个好多信息没讲到

再补充几句

好

那么这个项目是一个横向的课题

是跟企业合作的

那么我们当时也做了实际的系统

这是几个这边几个

实际系统一个截图

那么其中第一个是

系统中用的非常好的

就是说我要做风机的

一个整体的状态监控

那么我们来监控这条曲线

看它实际的这个

实际的采集的数据

好吧

不要重复了

这个你就讲过的

讲个你没讲过的

就是是不是用上它用在哪里

是不是

别人评价怎么样

你真正用了还是说拿着

实际在做的例子

我来理论上做个验证

这个都叫实际应用

但是它的份量就不一样了

对

那么这个系统就是在我们那个

京能集团内蒙的

几个风场确实用到了

我们把这种模型嵌入到了系统中

对 通辽

对

京能的一个风厂

然后确实能够识别出

像这个图就是我们确实能够在

这横轴是它

这应该是几个月的一个实测数据

然后我们可以检测出

它在某些点出现了

这种效率明显降低的情况

然后我们可以看到那个时候

确实出现了故障停机

对

就是确实能够检测出

风机出现异常的这种情况

企业又怎么评价的

企业当时给我们评价就是

觉得我们这个验证

就是这个识别还是非常准的

就是它能够识别出

当然这是因为从整体上来评价

是不可能看到细节的

就是说达到了从整体上来

进行监控的这样一种效果

就是我们从整体上

判断它这个应用

是不是确实能够识别出

它风机出现停机

出现故障这种情况

确实能够有一定的预测性

那么对于很多

当然很多没有给出来的是

看不到的

可能别的地方也会出现问题

那么这只是说在这个意义上

在整体的意义上是有价值的

这个我再补充一句

因为这个前面就是

我们跟这个东北电网公司

有比较多的合作

其中它比较难做的一块事

就是风力发电

就是风电实际上

是对火电的一种干扰

那么现在我们前面做的这个

就是基于风力发电机

这个风能的预测还有就是风机

就是风机发电机组的故障诊断

这些东西前面是有个公司

把这些我们做的这些算法

已经开发成软件

那么这个软件现在已经在

就是内蒙古还有那个东北电网

已经推广应用到好多家风场

并且这些演变在

跟这个东北电网公司的

这个合作过程当中

逐步的也被东北电网公司

它的商业化运行所采纳

所以这块的工作

特别是它这里面的风

风速功率曲线

那个对应关系那个图

就是找到通过这个风力

它的变化能看出你们哪个地方

哪个风机会出现一些故障

这个在东北电网公司里边

他们都有评价的效果

还是非常好的

而且企业里边也是非常认可的

你要找他们企业得

要一个目录的一个效果的

一个证明

说明才能更有效果

是吧

对他的

对

这个我回去正在

跟他们谈这个合作

其实其他就是

做一个文章证明是多清楚

这里面实际应用的这些往往

都是生产当中真正能够运用的好

而且是真应用的

实际比较好

真的还是比较少的

你如果这方面比较好的话

对

我再提一个问题

你这个工作做的很多

把这个机器学习

研究的相对透一点

我觉得刚才有一个

就是王老师提问题以后

我有一个小问题想问一下

我的问题点就是

你现在有一个优化的问题

然后这些问题可能是带有一个

机会约束或者引入一个机会约束

对

机会约束比较难以处理

所以我觉得马尔科夫不等式

还有这个契比雪夫不等式

来把这个作为一个转化

把它转化成为这个常规的约束

我这个问题就是说想问一下

你这个机会转化了以后

这个约束跟原来的

是能够完全等价

还是一种近似

应该是一种近似

就是前面提到了

它其实是一个转化之后

是一个更紧的一个约束

就是说是在原来的机会约束

是考虑最坏的情况下

就是我给定均值和方差

然后可以取一族任意不同分布

只要它的均值和方差

跟这个均值和方差是一样的

然后考虑这种最坏的分布

就在一系列均值和方差

取同样值的这种分布下

取最坏的这种分布

然后它这个是等价的

对

相当于一个进更紧的

你这个机会约束

里边最差的一种情况

对

那么这种情况是

有一个常规的表达方式

这样的话你的问题也就是

整个约束是一种近似

问题也是一个近似了

对吧

对

那么你最后你可不可以说

你这个工作里边就是像你这个

这个监督学习或者这些方法

半监督学习

你也是在这个常规约束下面

做了很多东西

也可以

因为它其实也有

一种常规形式下的

最终我们把机会约束

转化成常规约束之后

它也有很多其他常规约束形式下

比如说几何上的解释

也是可以行得通的

转化了一个问题

求解你对整个问题的解决的贡献

都是最后针对你转化以后

常规约束来做的

对

很多工作都是这样

在转化成常规约束之后

我怎么来更好的求解

所以你这个就是说机会约束

是贡献是间接的

你的转化也是间接的

对

也可以这样理解

所以说有时候

我是探寻了机会约束

因为它主要是一种思想

就是我怎么样去

将因为在机器学习建模的时候

我通常是有一种想法

我怎么样能

用数学的手段描述出来

那我们可以探寻了

其实在半监督学习里边

也可以用机会约束来进行建模

因为它提供了

一种很直观的理解方式

然后我们之后再来进行求解

吴老师

他这个提法处理上就是说

他在这他解决了

这个很多机会约束的问题

那么为了解决这个问题

（在转化后的问题上）做了很多研究

这些方法直接去解决了

机器学习问题

我接着就是那你这个转化的话

就原来控制里面有一个这种思想

就是有一个叫H无穷控制理论

它就是把这个

相当于最坏的情况下怎么控制

就是如果你这个如果是说

考虑那个最坏的情况下

那其实它会带来一定的保守性的

对

就是它这个就是不知道你这个

对模型的影响是吗

结果的影响

就比如说你设计

这个公共汽车这个高度

可能2米就可以了

但是你要考虑比如姚明要坐的话

那你可能需要2米5的

明白您的意思

就是说这个保守性

就是说可能会

就是控制里面这个问题很明显

对

就是如果你考虑最坏情况下的话

就它那个无穷范数

无穷范数就它就会带来保守性

对

就是确实这个问题也有人提

就是如果我们用机会约束

来在考虑最坏情况下

进行转化的时候

它肯定会带来一定的保守性

所以也有人研究

就包括我们课题组

张玉利他们也做

就是可以利用更多先验的信息

得到相对不那么保守的这种估计

不过在机器学习里边

也是有回避手段的

因为这种保守性还可以通过

那个η那个参数来控制

就是我可以通过把那个参数

来设置的更宽松

然后来减缓这种保守性

然后在机器学习里边

通常我们是基于数据的

可以来做交叉验证

那么这个阈值的设定

也是可以进行调节的

可以直接计我的数据进行调节

所以可以在一定程度上

减缓这种对保守性带来的问题

我们同学回避

我们会再讨论一下

经过答辩委员会认真讨论

达成了一致意见

现在宣布黄高同学

博士学位论文答辩委员会决议书

论文研究机会约束模型的

机器学习方法及其应用

选题具有重要的理论意义

和应用价值

论文取得的创新性成果如下

第一，提出了带有机会约束的

鲁棒支持向量回归模型

可解决输入和输出数据

同时具有不确定性的

非线性回归问题

拓展了鲁棒回归的应用范围

第二，以样本点最大概率

远离决策平面作为假设

建立并分析了机会约束的

半监督分类模型

给出了快速标签交换算法

为解决半监督学习问题

提供了新思路和方法

第三，建立了多聚类的

机会约束模型

将模型转化为二阶锥规划

提出了一种半监督分类算法

第四引入泛化正确率概念

提出了一种基于机会约束的

聚类评价指标

证明了该指标具有特征尺度

缩放不变性

克服了对数据物理量纲的依赖性

第五，将上述主要方法

应用在风电机组的故障诊断

及状态监控问题中

取得了满意效果

论文工作表明黄高同学

掌握了本学科

坚实宽广的理论基础

和系统深入的专门知识

具有很强的独立

从事科研工作能力

论文结构合理写作规范

成果突出

达到了工学博士学位论文的要求

答辩过程中表述清晰

回答问题正确

答辩委员会七人无记名投票

一致同意通过论文答辩

并建议授予

黄高同学工学博士学位

一致推荐该论文为

清华大学优秀博士论文

向你表示祝贺

谢谢

就是非常感谢导师吴老师

还有宋老师

然后实验室的同学

在这里在清华

六年的时间觉得也挺快

但其实回想起来

整个过程还是挺曲折的

就是从选题的摸索

不过我觉得自己比较幸运的就是

在经过一系列摸索之后

找到了自己非常感兴趣

一个研究方向

就是机器学习这个方向

应该来说在现在这个背景下

就是大家都在谈论大数据

然后移动互联网

物联网这些概念

然后机器学习作为

背后的一种支撑技术

应该是说得到了非常重

越来越重要的重视

然后像百度这些公司

都成立了相应的研究院

美国谷歌这些公司

都有专门的机器学习研究组

所以我觉得这个方向

是我非常感兴趣的

这也是支持我研究的

一个重要的动力

然后当然还有导师的指导

以及我跟在出国交流

以及在微软那边

实习的一段经历

都跟很多从事机器学习

研究这些人的一些交流

他们也给了我很多的帮助

然后以及信念就是相信这个方向

相信这个领域是比较有前途的

然后在这些动力的驱使下

让我坚持完成了博士的学业

然后再次衷心的感谢大家

谢谢