问题及答辩结果在线视频

各位老师提问

运动去模糊它的光照模射

跟和运动之间有关系吗

就是 比如说

如果这个样本在这个

我的视野里在运动

如果我的光照具有强弱的变化

那它这个运动的模糊

也会有一些变化

就比如说您直接想

如果这个目标是一个点

然后我的照射是一个固定的

比如说这种灯光固定照射

那它运动完了就是一条线

但是如果我的这个照射

它是具有强弱的变化

那我这个东西模糊完了

是一条虚实变化的线

我说的是 不是那个

那个强弱变化的调整

我在说那个运动的那个

你说跟运动的速度

然后调整这个模式是吧

这个我们

我在这个具体的工作里面

因为刚才是细节没有展开讲

首先 我要先对这个

模糊的东西进行一个速度的

也也就是速度的估计

就是在最后运动去模糊的时候

首先要对它的模糊长度

进行一个估计

然后一开始

在设计这个强弱变化的时候

是先要设计一个

有一个模糊长度

根据这个模糊长度

设计了不同的这种强弱patent

然后在后面反解的时候

会用到这样的一个长度的变化

所以其实最理想的状态是

首先我要对这个运动的速度

运动物体在成像结果里面的

模糊程度有一个大概的估计

这样根据这个估计

我能够设计一个最

最优的这样的一个patent

但是如果没有这个估计也

也差不了太多

就是说基本上一个合适的

这样一个patent

就能够达到这种模糊

去模糊效果的提升

但是如果我能够对这个速度

有一个提前的估计

能够实现更好的效果去

去模糊的效果

我接着这个牟老师问一下

就是去模糊的时候

你是假设物体的运动的那个速度

那个信息你是知道的

对 但是是有一个假设

是假设这个运动速度

在这个过程中是不变的

是匀速的

对对 是匀速

不在里面自己去找

对 因为你有时间嘛

所以你只要知道长度就能估计

然后这里面我们

我在里面用到的算法

是一个CPI 2012年的一个工作

它有一个叫motion from blur

就是说从模糊里面去估计运动的

这样的一个算法

就是这个算法不是我做的

但是是用

也 也有这样做法

但是可能不同的研究

有不同的方向吧

我当时是用了那样的一个

基于运动估计模糊的

这样一个方式

它里面用了一些这种

模糊和的一个假设

通过这种假设的方式去

统计图像信息来估计

这个运动的长度

但这也是一个独立的

就是另外一个研究方向

我这里面只是用到

里面的一个直接的成果

就是你好几个点

比如说光谱这个深入角度

运动序列

这些的研究是 这些问题是

说针对不同的问题

问题在你这些问题是

一个是不同情况下发生的呢

还是同时同时发生的呢

你说这些工作的时间先后吗

还是说

不是 你不是针对这些不同的情况

那你在这个patent的过程中

这些问题

是就是比方说是

光谱只是它说这个

是 这些是彼此

对 是彼此独立的一些

比彼此独立的问题

但是因为你不可能

同时解决所有的事情

所以可能是

一个问题一个问题的去处理

所以这些研究工作

也是彼此相对独立的

但它里面的共性就是

我使用的这种时空编码

然后最后解耦重建的这种思路

然后在这几个不同的点上

进行了应用

然后实现了这

这几个方向上的一个工作

但是它们彼此

可能不会在一起发生

如果一起发生的话

明明 那你真成像的时候

和实际情况下

可能就很复杂了

对对对 但是可能现在

现有的研究还是

主要是在一个个突破吧

如果能最后把它们集成到一起

能够实现更好的效果

你开始提到 就是说第一个动作

我们说同时提高空间分辨率

时间分辨率

同时提高这么多指标的话

这个这个说法就

当然结果很好啊

但一般按我们知道

这个计算成像 它往往是

把各种分辨率混在一起

往往是互相形成一个

特殊范围内的

对

那我想问一下

是不是存在某种极限

就是词它不可能同时

所有的都提到某个点

对 我觉得这种极限

是肯定存在的

因为从信息的 从信息论角度来讲

我们就是采集得到的信息有限

不可能产生无限的结果

就是肯定这个东西放大

即使放大 它放大的能力

也是很有限的

我们所用的是一个

双路采集的结构

它具有混合分辨率的一个特点

就是一路

它具有空间的分辨率优势

一路它有光谱分辨率优势

但是我们最后说

它同时提升了空间分辨率

以及这个光谱分辨率

是因为我们其它的那些结果

是计算出来的

也就是说是我们根据一些

已有的特性去

可以说是估算出来的

但是这个估算在

数据集上得到了验证

具有一定程度的准确性

当然 这个我

我们这个工作也跟一些

比如航天几院它们有一些讨论

有一些就是调调研

他们往往会认为这种

估算出来或者我们计算出来的

他们不太接受

但他们可能也慢慢的

会接受这个趋势

因为很多这种计算机领域

计算出来的东西

在我们看来是具有足够

高的准确度和精度的

但是他们有时候往往会不信

所以您说这个问题 它说

同时具有高风险分辨率

往往是指的

是我这些都是同时采的

但是我们这个 它有一部分

或者说其中一大部分

是我们根据已有的情况

推算出来的

但这个推算具有很高的可信度

我的解释是这样

我接着陈老师刚才这个问题问

我是外行

就是还是那个刚刚

第一问那个工作

一个问题是

就是把那个两路信号

一个是rdp 还有一个是那个

分光的功能信号

然后再本身把那个

分光以后的那个信号

提到那个事物的那个工作

在那部分上你有没有什么

我还是只是把这两个

信号结合起来

就是这个工作其实是我们

实验室的一个

很长时间的一个工作

就最早 包括曹迅

就是我的一个师兄

他也是在做这方面的研究

因为他相当于是我大四进实验室

和博一的时候

就相当于在做第一部分的内容

然后后面的这部分内容

是我自己在这个基础上

去逐段的在做

对 从从其实第一部分也有涉及

但主要是从后面这个

两部分开始融合

这个算法

包括这整个系统的搭建

及后面这种自适应的编码的设计

是这一部分工作

是我的主要的工作

这里边第二个问题

也跟刚才陈老师问的相关 就是

一般两个结合起来对于

跟任何一个相比都可能会有好处

就是刚才说的 带来的那个

分辨率的提升

发挥已有的

更多的另外一种信息

对

但是会不会 因为毕竟是

完全两种不同的那个

采样的信号

会不会造成那个

最后匹配配准不对的时候

然后互相干扰啦

就甚至比那个不匹配

还要糟糕这种情况

对 其实这个工作里面

它听起来思路是很直接的

但是它最繁重或者说

最难弄的一个地方

就是它的配准和校正

所以 所以这里面

因为我我要知道

我的光谱采样点对应在于

我这个rdb图像上的

具体的哪个点

这要是非常精确的配准

才能够实现我所说的效果

就像您说的 如果配不准

那我这东西就乱了

就可能效果会很差

所以我们在这个工作的实

实行的过程 实施的过程中

会做很大一部分

这种校准和标定的工作

然后通过这种前期的

校准和标定的工作来保证这个

结果的准确性

然后这里面有一个特点就是说

这个标定是一次性的

我们可以在这个

搭建系统的一开始

完成这个标定的工作

让它非常准确

然后把它固定不变

这样它在进行后续拍摄的时候

就不存在这方面的问题了

就是这个标定有没有

就是存在着那个失败的可能

还是你只要标定完了以后

保证这个

应该是

应该是没有什么失败可能

因为我们这个东西

就开始搭建的时候

我们的场景也是可以控制的

我们用标准的标定板

然后用标准的光源

你标定是不是相当于

你知道标准答案

对对 知道标准答案

然后用这些标准的东西

去把它做一遍

校订一遍 参数全固定

然后这个东西在相当于

封装起来 变成一个盒子

然后再去完成实际的任务

然后在用这个成果的时候

你们更多的是用

把它那个分开以后的

用那些光谱去做应用

还是说把那光谱作为一个参考

再去给那个空间的图像

评估什么附加的光谱

其实是这两方面

这应该是都有

就是说 因为我们这个的

主要应用点都是因为很多

有很多物体在颜色空间

它的特征并不明显

但是在光谱空间

它有很强烈的这个特征

有点像成像

比如说像红外

其实这些都是广义上的

红外你的那个空间分辨率很高

对 通道数更多通道数很多

可能那个红外成像它就是一个

就是l 就是一个单通道的

就比如咱们经常看到那种红的

就是一

就是人脸发热的地方

它就有一个

就是那是一个单通道的结果

然后光谱是很多个通道

它每一个点都有一条线

然后这每一个点的一条线

可以辅助我们去做一些

特征识别 去做跟踪

或者各种各样其它的任务

所以我们相当于是

主要是在利用它的光谱特征

但是如果空间分辨率低了

我们也是没法用

所以相当于是两方面都有

在这里 我也接着问一下就是

在这第一个中间的工作当中

这个运算复杂度有多大 还是

它那个运算复杂度

我们使用的那个

最后的一个重建算法

其实我们管它叫三

基于三边滤波的光谱重建算法

但它其实有点像差值

但是这个差值

它不是那种普通理解的差值

它是在那个双边滤波

或者三边滤波的这个框架下

它的权重是一个

一个这种

就根据好几个就是空间

包括时时包括颜色的

相似度来计算的一个权重

然后这个东西我当时是

做了一些gpu加速的

然后这个东西在gpu里面

它有一些

因为gpu里面有一些

这样的固定的算法

就是做这个三边滤波加速的

所以我们用这样的算法

能够提升它的这个运算速度

就是如果

它是一个什么样 什么样子

比如说得到一个

就是单帧图像

单帧图像

如果是在没加速的情况下

可能需要十几秒

然后在我们这个

使用gpu加速之后

可能是一秒之内就是

接近实时地

能够把这东西重建出来

另外就是像咱们这部分的工作

就是和国际上的一些比较起来

大概是一个什么样的水准

就是 我们这方面工作就是

没有做一模一样的国际上

但是国际上刚才我也介绍了

一些相关的研究现状

就包括美国的一些

就是包括Darry breede

或者是那个Naya

他们都是美国的院士嘛

他们的团队也在做这种

光谱视频的成像的研究

但他们的方法跟我们的不太一样

所以我们相当于是

着眼了同一个问题

但是所做的这种方法不太一样

但是双方却都有 都有交流

就包括之前去年也是那个

Darry breede也来我们实验室

参观访问过

包括就是之前我们这个工作

也在accp的会上去汇报过

也给他们去做一些相关的交流

所以相当于是大家着眼一个

共同的国际前沿的问题

指标上

就是就是

不是特别能直接做比较

因为这个东西还没有是

做出做出产品出来

因为就侧重点不太一样

所以不是特别能够直接的做比较

但是他们的那个就各有优势

各有优劣吧 只能这么说

就是各有优缺点

你们的那个物体的一个沉淀

这个地方

就是它需不需要

比如这个物体是一个

什么样的折射率的一个

对 我们是

支持

对 刚才介绍的时候

也没讲这些细节

它有一些前期的假设

就是对于这个物体

它是要有一个连续的

连续的折射率变化

也就是说 我们这个东西

更适用于气体或者液体

或者这样的一个

透明物体的一个检测

如果是那种四面都是棱

或者什么

那种东西可能是做

是确实是做不了的

所以我们在这个

包括最后做的那些东西

也都是这样的一些物体

需不需要知道流程

不需要知道 不需要知道

因为我 我是

我是通过这种两个

聚焦平面的图像的反解

然后知道这个入射的平行光线

出来的时候的

光线的角度是什么样子

对 能算出来这个

出射光线的角度

然后我知道直着入进来了

往这边偏了

我就能够重建出来这一块的

这个折射率变化

后面的可能不太懂

前面的这个三十几页都提到

我的理解是 在实验室里边

你可能希望能达到

从低分辨率达到高分辨率

也要做这个超分辨率

那一般很少有人说

我有这个能做到超分辨率

那个设备 我关系直接去采

能达到这个信号

我做吃饱饭了应该能达到

我的指标能达到那个一样

这个实验就很困难了

在就是说

在某些特殊条件下

你可能说低分辨率能

达到这个高分辨率

但是实验大部分情况的话

显然是用直接成像设备能达到

就会 肯定会更高一些

这个比较保证

但是从光谱的角度来说

你实际上进来的时候

就是光体进来

能量的时间是一样的

对对

如果我有一个光谱设备

我专门去采集光谱的

然后我就为这个应用的话

我不考虑其他所有光谱的话

我觉得道理可能差不多

你如果维度 不同维度之间

耦合的有比较大的东西

有可能在有些场合能达到

在这里就是实验这个指标当中

我全部提高 这件事实际上

我觉得是比较难做的

对

这是一件事 然后另外一件事

就是转换以后

因为这个重新开始做

到现在的话

究竟在视频上做的话

如果在这个性能上跟原来

不是特别能保证的时候

如果能找到 确实有很多

就是在动态下有可能用的

那也可以 因为我们要做折中

因为传统的光谱可能

达不到这个目标

对 但是刚才我觉得

做不到的这个结果 可能是偏

传统的光谱成像可能也不错

我觉得这比如说

即使你做完后面还有人做

实际上这个是

一次也还存在的一定的问题

对对

所以这个可能

我不知道晨光你有没有

考虑过这个事情

考虑过 然后我

就是说一下 就是我的理解吧

就季老师说的第一个方面

就是说

其实其它的一些专注的设备

它获得的能量有限

所以输出的结果

应该是差不太多

其实现在的很多时候的

这些设备 从本质上来讲

都是这样的一个问题

就是我采集到的能量是一样的

那我得到的结果

它的真的能量也是那么大

但大家都在想

通过计算的手段获得更大的能量

获得更大的这种信息

但关键就是说

谁的这种设备设计的更合理

能让我计算出来的东西

能有更高的可信度

所以我觉得就是

现在这个这么提也是因为

我觉得我们这种

双路采集的方法

能够计算出来的东西

可信度更好一些

也就是说我采

也就说这种采集的方法

相对合理一些

但也不是说其它的不合理

只是说大家都在探索这样

怎么样来做更合理 更好

然后 季老师说的第二个问题

就是说

现在这个光谱视频有哪些应用

就是

我在做完这个工作之后

也和曹迅师兄使用一起去

包括中科院的农业的研究所

包括遥感研究所

去做了一些调研

它们也有一些这样应用的需求

但从我个人理解的角度来讲

我觉得最核心的还是一些

小型化的或者是

便携化的一些应用

因为好多是卫星

其实光谱遥感里面

是对光谱应用需求最大的地方

它往往这个卫星飞在天上

它反而不太关心这个速度

就是因为我反正飞了

一天一天接着转呗

然后我只要是这种扫描式的

我一样是能够看得到

他们反而比较关心这种分辨率

也就是说我能够看十米

地下十米还是一米

他们的关心的指标是这个

但是很多这种地面上用的

或者民用农业里面用的

它是比较

包括军事监测里面

它是比较关心这个视频的

比如说有

其实另外一个

很常见的应用就是

比如说我能装甲

有一片玉米叶子

我想看一下它的光谱特性

看看它有没有病变什么的

那如果这个东西

现在农民拿到它可能会是要

需要送到专业的研究所里

然后去进行这种扫描式的研究

那如果这种光谱视频的设备

能够使用的话

能够拍这种 拍视频

拍视频的含义

也就是说我能够一下拍一张图

如果能够解决这个问题

它也能够解决这样的一些

实际的应用

现在光谱不需要到

比如说每秒二十帧啊

什么之类的

对但是 但但是就是说

视频能力

对对对 这就是要视频

就是单次曝光

能够成一个二维的光谱图像

这就是视频能力

其实这是一个含义嘛

但是传统的不是这种视频的

都是扫描的

我因为之前做这个对比

应该是从三维的角度

你是二维平面图片加上时间

对对对

因为我做这个实验的过程中用

因为要和标准的

这种光谱仪去做对比

我当时拿到一个

拿着一个样本去

拿现有的这种

市面上卖的光谱仪去

去做对比实验

它们拍一下可能扫一下半

半个小时

我们下面讨论

对

对马晨光同学

现在我们 我代表我们这个

答辩委员会来宣读一下

你的答辩决议

论文围绕

时空编码计算成像问题

开展研究

选题具有重要的理论意义

与应用价值

论文的主要创新性

研究成果如下

一 针对光谱视频中

难以兼顾高空间分辨率

与高光谱分辨率的问题

提出了一种基于时空编码

混合相机的光谱视频采集方法

实现了自适应高分辨

高光谱视频的实时采集

二 针对透明物体

难以被有效采集与重建的问题

提出了一种基于空间编码

光照的透明物体重建方法

可显着提高重验结果的峰值信噪比

三 针对投影显示设备

紧身的范围受限的问题

提出了一种基于时空编码

光圈的投影紧身增强方法

实现了在复杂投影条件下的

清晰投影效果

四 针对显微成像中

常见的运动模糊问题

提出了一种基于时间编码

光照的 运动去模糊方法

提升了光照显微成像设备的

时间解析度

论文写作规范 论证严谨

创新性强

论文工作表明 作者在本领域

本学科领域掌握了

坚实宽广的基础理论

与系统深入的专门知识

独立从事科研工作的能力强

答辩过程中表述清楚

回答问题正确

经答辩委员会无记名投票

一致同意通过

马晨光的论文答辩

建议授予其工学博士学位

并一致推荐参评

清华大学优秀博士学位论文

好 祝贺