个人答辩陈述在线视频

我们下午答辩现在开始

我们下午整个是三个同学

博士论文答辩

然后我先介绍一下啊

我们答辩委员会成员

然后答辩委员会主席

北京交通大学

信息科学研究所

赵耀教授

答辩委员会成员

然后国家基金委信息

科学研究员

中国科学院大学计算机

与控制学院黄清明教授

清华大学自动化系

罗与平教授

清华大学自动化系

陈坤教授

然后清华大学自动化系

（戴琼海）教授

还有清华自动化系

路宁陈教授和叶浩教授

以及嵇向阳教授

那行

那首先请咱们

秘书介绍一下

马晨光同学

他的一些基本情况

马晨光然后籍贯是

河北省承德市

高中就读于

河北省唐山市第一中学

2007年保送进入

清华自动化系攻读本科

与2011年获得工学学士学位

并继续攻读博士学位至今

导师戴琼海教授

在攻读博士期间

马晨光在培养

进化类共完成

34学分成绩优异

在学术研究方面

共发表了3篇USM文章

同时也在计算机视觉

计算机样学领域及

CEPLSCP上进行口头报告

博士期间共申请共授权

5项发明专利

马晨光也曾到

美国加州大学国际分校

进行学术交流访问

在学期间得到一致认可

也获得了研究生国家奖学金

博士生新生奖学金

清华大学学生实验室

建设贡献奖等一系列荣誉

好

那下面就请马晨光同学

介绍自己的论文

各位老师下午好

然后我是戴老师的博士生

马晨光 然后今天下午

我给大家做我的

博士论文答辩

我博士论文的题目是

时空编码计算成像研究

首先我今天的答辩

分为三个部分

第一个部分介绍一下

我的研究背景

然后对我的主要内容

做一个讲解

然后最后对我们的成果

做一个总结

首先是第一部分

是我研究问题的背景

我博士论文所选的课题

属于计算成像学领域

计算成像学它的核心目标

在于对于光线还要

进行计算采集

首先我们可以看到

我们对于客观物理

世界的观测是用眼睛

是通过眼睛来完成的

由此可见光信号是我们

对于物理世界进行观测的

主要载体之一

然而光信号是高维连续的

它具有空间角度频谱时间

等多个维度

其中含有大量的信息

然而现有的成像技术与设备

只能采集这些高维

信号的很小的一部分

随着CCD电耦合

器件的应用

光信号实现了数字化的采集

然后我们可以在光信号

采集的过程中

加入计算的因素

然后也就是说计算成像学

也就应运而生了

所以计算成像学的主要目标

在于突破传统成像技术的

固有局限

实现对于高维光信号的

计算采集与重建

计算成像学的研究具有

广泛的应用前景

从当前热门的

这种全景图象

虚拟现实 光场成像

到立体视频 深度采集

光谱的遥感

再到显微领域的超分辨率

相位成像等等

计算成像学能够帮助人类

更好的认识客观世界

发现自然现象

以及揭示客观的规律

目前传统相机等设备的

成像能力十分有限

其得到的采集数据只是

高维光信号的

一个低维采样

我们首先来看一下

传统成像设备在光信号

各个维度上的表现

首先在二维空间与时间上

现有的相机已经能够实现

非常高分辨率的采集

譬如在空间上

千万像素级甚至

亿万像素级的手机相机

已经非常普遍

在时间上高速相机

现在已经能够实现

对于子弹这种运动速度的

运动物体的拍摄

能够得到非常高速的

采集效果

但是在深度角度

以及频谱等维度

现有成像设备与技术

采集能力十分有限

在深度上面发生了

深度积分直接失去了

这一个信息

在角度上也发生了

角度积分无法获得准确的

光信号的角度信息

在频谱上从传统的黑白成像

到现在的RGB成像

我们也就实现了从单通道

向三通道的进步

没有能够采集

光信号更多的频率信息

所以由此看到现有的成像

设备与技术

在光信号的各个维度上

具有不同的表现

所以我的研究工作提出

将利用传统相机的这种时间

和空间的高分辨率采集能力

将其他维度的信息时间

编码耦合至空间与时间维度

进而实现对于场景光信号

高维高分辨率的采集

当前针对计算成像的

研究工作建立了不同于

传统成像技术的全新模型

首先我们来看一下

传统成像模型

传统成像模型建立了

场景点和像素点之间

一一对应的

线性透视变换关系

也就是说我们相机的

所见即所得

也就是说我们相机传感器

输出了什么值

也就是我们直接

得到了什么样的图样

这样的话是一个

线性的变换关系

是一一对应的

但是计算成像学

提出了新的成像模型

我们通过广义的

这种新型镜头

实现了对于

光线光路的一个编码

在这种情况下

传感器的每一个像素

不再是场景点的直接对应

而是光信号在特定的

编码光路下的采集结果

通过这种计算的编码

以及我们后期

通过计算算法进行的解码

我们就可以获得传统成像

模型无法采集得到的

场景的光信号的高维信息

从而实现观测能力的突破

从光信号编码耦合与计算

重建的研究思路出发

计算成像学有多种多样的

代表性研究方法

首先我们从

成像的整体框架来看

光信号从光源发出

耦合场景信息后

进入成像系统

进一步经过传感器采集后

成为我们采集得到的图象

在这个过程中

计算成像学的研究工作

在每一个地方都可以

进行编码耦合

然后据此我可以把现在的

一些研究工作

分为这样几类

其中有场景端的编码

我们可以在光线

进入相机之前

进行一些编码的

对光线进行一些编码的控制

然后也有传感器的编码

我们可以改变这种

CCD的形状

或者改变CCD的位置

实现特定的功能

还有我们可以

在光圈上进行编码

编码光圈的技术现在

也在很多方向上得到了应用

我们也可以实现相机

阵列的编码

比如说我们实验室

所搭建的这个光场采集平台

它就是一个相机阵列的编码

然后我们也可以在

光照端编码

同样也是我们

实验室那个平台

它可以通过多角度的光照

实现一些立体或者是

深度信息的采集

此外我们还有其他的

通过彻底改变相机

光学结构的

实现的特殊成像方式

现在计算成像方向的

研究现状可以总结为

这样几类

然后我博士论文的研究工作

从上述的研究思路出发

提出了基于时空编码的

计算成像模型与方法

围绕如何采集与重建

高维高分辨率的光信号

通过联合设计光学

系统结构

与计算（重叠）算法

我搭建了多个圆形系统

分别解决了光谱视频采集

以及透明物体重建

投影景深增强与显微镜头

去模糊等多个问题

分别在光信号的光谱

深度 角度 时间等维度

取得了成像能力的一些突破

这些PPT上面展示了

我所搭建的一些研究系统

后面会做具体详细的介绍

下面主要是针对

这四方面的内容

进行一个详细的展开介绍

首先我介绍我的第一个

研究内容

是时空编码混合相机

光谱视频采集系统

首先我们来看

成像技术的发展

在人类成像技术

刚开始的时候

我们只能采集到黑白的

也就是灰度的图象

然后在上个世纪

我们实现了彩色图象的采集

也就是说我们能够采集到

和人眼看世界类似的RGB

三个通道的成像结果

但是实际上光线里面

它有非常丰富的频谱信息

它里面包含了

非常丰富的场景

或者光源的内在属性

也就是说我们希望能够

采集到光信号的频谱信息

能够给我们带来很大的帮助

但是这里面有很多的难点

其中就是我们的成像技术

它是只能采集

一个二维的图象

如何用这样的低维设备

去采集高维的光谱数据

是其中的一个难点

另外就是说

我们想要用这样的

不匹配的采集方式

怎么样能够在

非扫描的情况下

采集到场景的视频

也就是说可以在

单次曝光的条件下

采集整个场景的光谱信息

另外一方面

光谱信息由于在

空间的基础上

增加了一个光谱维度

它的数据量非常大

而且我们需要进行实时处理

这就给我们的采集系统

提出了挑战

现有的研究工作

主要分为两大类

其中一类是传统型的这种

扫描式的光谱采集方法

其中大概可以划分为两类

第一类是基于滤光片的方式

也就是说我们

在相机前面加上

各种波段的滤光片

然后通过不断的更换滤光片

达到采集整个场景

光谱数据的目的

另外一种方法是基于

推扫式或者是摆扫式的

这种空间扫描式的方法

这种方法一般常用在卫星

或者是现有的一些实用的

平台上面

它通过这种对于采集位置的

不断的变换来扫描整个图象

这样的方法

上述的这些方法都是牺牲了

采集时间来换取了

这种采集的分辨率

所以它无法进行

光谱视频的采集

这也是现在包括一些

航天系统包括很多领域

亟待解决的一个问题

第二类大的研究方向是

采用这种新型的

计算光谱成像的方法

其中美国的工程院院士

S.Nayar和D.Brady

都是做过类似的研究

他们提出使用

这种空间不一致的滤光片

或者使用这种

编码光圈的成像方式

然后能够实现

这种光谱的计算采集

他们分别提出了几个系统

都具有这种

光谱视频的采集能力

但均有各自的不足

首先是有的非常难以校正

十分不稳定

很可能稍微

比如说地面晃一下

边上过一个地铁

然后这个东西就

彻底不能用了

所以它的精度非常低

鲁棒性很差

而且系统复杂

也重建精度也十分受限

我们所提出的这种

时空编码混合相机的

光谱视频采集方法

有以下几个创新点

第一个点就是我们

利用现在成像设备

这种空间分辨率

不断提升的现状

提出利用这种棱镜分光

和掩膜采样

将这种光谱数据散到

这个成像设备的空域上

实现这种空域的复用

然后一次通过单次曝光

采集第一空间分辨率

但具有高光谱分辨率的

场景光谱视频

一个简单的光路图

如这个图的左边所示

我们在使用了一个绿色的

这种采样模板

每次允许采样点的光线通过

然后在后面使用一个

散光元件

把这个光线散开成他的光谱

然后再在后面的成像传感器

上进行积分成像

然后采集到他的光谱

然后通过一系列的

标定校准和重建的过程

然后我们能够恢复出

场景的采样点的光谱信息

然后我们提出的

第二个创新点

是通过双路采集的方法

进行分辨率提升

上面那个系统可以看出

它只能够采集得到

采样点上面的光谱信息

但这样的是无法实现

对于场景的一个观测的

我们在此基础上

提出在单路采集的基础上

再加上一路这个彩色

RGB高分辨率的

采集视频分路

通过这一分路我们能够

采集到高空间分辨率

但具有低光谱分辨率的

一个视频序列

然后结合刚才所介绍的

那一路视频序列

将两路视频序列进行融合

然后实现同时具有

高空间分辨率

和高时间分辨率

高光谱分辨率的

一个采集结果

我们在此基础上

又做了一个第三个创新点

就是我们在这个采样编码的

在这个采样模板的设计上

采用的时空编码的方式

自动化系它有这种控制

这种反馈的这种基础

所以我们也借鉴这种思想

使用刚才所引入的这一路

RGB视频能够采集场景的

RGB信息

也就是我们知道的场景

大概是长什么样子

然后我们把这种信息做

一种反馈机制

去动态的改变光谱采集分路

里面的采样模板

然后能够动态的选择

最有价值的采样点进行采集

然后这样能够进行提升

视频采集过程中的

光谱采集效率

也能够获得更好的采集

自适应性以及采集性能

所以这是我这个研究的

第三个创新点

然后在此基础上

我们需要将两路采集得到的

不同分辨率特性的信息进行

一个动态的融合

我们提出了基于

三边滤波的光谱重建算法

并在此基础上实现了

并行加速的软件解决方案

能够实时的给出这种

光谱融合的结果

我们将采样点的光谱信息

按照其空间的一致性

颜色的相似形

时间的连续性进行

空域的传播

将它传播到其他的未采样点

从而获得高精度的一个

光谱采集重建结果

基于上述的研究思路

我们搭建了基于这种

研究思路的多个研究系统

其中我们具有空间分辨率是

1024×768的空间分辨率

光谱分辨率也能够

采集得到150个通道

大概可能动态调节为5纳米

左右的这个光谱分辨精度

然后时间分辨率和普通的

这种成像设备的是一致的

每秒十几帧左右的这个帧率

然后我们在标准光谱

数据库上进行了

这种重建的算法的验证

能够实现97%的重建精确度

然后这幅图的右边

我们给出了几个

实际采集的例子

这个玩偶上面

它左边打了个荧光灯

右边是放了两根蜡烛

我们可以通过

这个光谱采集结果

明显的看到这种光谱在这个

玩偶上面的变化

虽然肉眼可能看不太出来

但是在光谱端它具有非常

明显的光源的特征

然后我们也使用

这种光谱的采集设备

在计算机视觉领域

找到了很多有意思的应用

包括混合光源的分离

以及图象的自动白平衡

以及物体的识别与跟踪

我们还建立的标准的

光谱数据库

供大家研究使用

在此基础上

我们实验室后期

包括实验室其他同学一起

搭建了一个更实用的

一个原型系统

这个所搭建的系统

也是基于我们这种棱镜

眼膜式的光谱相机

能够实现百万的分辨率

达到每秒15帧的重建精度

重建速度就是采集速度

以及95+%的重建精确度

然后我们将这个系统

也进一步应用

在这种环境检测

包括大家可以看到

下面这个图

可能看不太清楚

就是水面上有浮藻

还有这种油污

他们颜色其实是很相近的

但是在光谱上面他们

有不同的特征信息

所以通过这种

光谱相机的采集

就能够进行这种

污染物或者环境的监测

然后另外一方面的应用

我们也可以在这个

军事侦查上面进行应用

包括这个里面是

一个迷彩服

他和后面的背景在材质

上面是肯定有差别的

虽然他的颜色空间上的特征

不是很明显

但是在光谱上面具有

很明显的特征差别

包括下面这种工艺

美术品的鉴定

这方面其实现在也是一个

很火热的应用

比如说很多名画

或者是一些艺术品

它很容易被仿制

而且仿制品很难

被普通人所看出来

然后我们通过光谱相机

去识别他的颜色特征

就能够很好的建立这样的

一个见证系统

这幅图可能有一些黑

这里面也是刚才这个系统的

一个应用性的验证

这里面有一个人在这个

穿迷彩服的人

在绿色的树后面走过

在传统的相机里面

是很难把这两者进行

一个区分的

但是通过光谱相机的

采集与识别

它这个通过光谱

上面的特征差别

是能够完成这种

迷彩服军人的识别的

所以这个在军事上是

有很大的应用价值

上述就是我

第一个研究工作

也就是光谱视频采集的

研究工作内容

下面我来介绍我的

第二方面的研究内容

是空间编码光照的

透明物体重建系统

计算机视觉以及

计算成像领域

里面有一个很困难的问题

就是如何采集以及理解

光线后的折射现象

以及对于透明物体

进行一个三维的重建

这是因为在透明物体的

重建问题上

我们缺少一个很直接的

观测手段

或者采集的数学模型

而且光线在这种

透明物体里面

它的折射现象

具有内在的复杂性

我们很难去很好的

去处理这样一个病态问题

然而对于透明物体的重建

具有广泛的应用前景

包括生物细胞样本的观测

包括飞行器的

空气动力学分析

包括计算机图形学里面的

渲染与合成等等

都会用到透明物体的

一些重建

以及相关的一些研究工作

现有的研究工作主要

分为两种 两大类

一大类是侵入式的方法

所谓侵入式的方法

是会改变物体的特性

也就是说我们要么

把物体放到液体里

或者是在他的表面

涂上荧光涂层

或者是覆盖一层

有特性的薄膜

这样的方法虽然

能够重建出来透明的物体

但是对透明物体本身也会

造成一些破坏

这样在很多生物

很多特定的应用里

是没法实现的

另外一大类方法就是

非侵入式方法

非浸入式方法其中

有一个研究方向叫纹影成像

也就是说

我们在透明物体的背后

放这样有纹理的

标定板或者是其他类型的

然后我们通过采集

这个标定板

透过透明物体的形变

然后能够重建出这个

透明物体的形状

然后另外一类

现有的研究方法

是通过这种

微透镜阵列的光场面板

实现这种透明物体的重建

这些研究的核心目的

都是想要知道这些光线

是在透明物体里面

发生了怎样的变化

然后能够重建出

这里面的形状信息

然后我所做的工作

是基于空间编码的光照

基于空间编码光照的

透明物体重建方法

我们首先第一个创新点

是提出了一点

光传输方程的模型

我们利用平行光源照射

一个透明的物体

就如PPT上半部分所展示的

中间那一团蓝色的东西

代表的是一个透明的物体

我们在这个透明的物体

后面用平行光源照射

然后在前面具有

它具有不同的折射率特性

所以这个平行光会

折射为不同方向的光

然后我们在两个

不同的聚焦面

进行成像采集

然后能够获得

两幅不同的聚焦图象

由于这两个纵向位置

是有差别的

所以他们成像的结果

肯定会有一些差异

直观的来看

我们可以通过这个差异

来恢复这个光线的角度

以及它这个折射过程的信息

基于这样的一个朴素的思想

我们将传统用在

光学领域的光传输方程模型

在几何光学下面进行了

一个全新的推导

然后应用到了

透明物体重建这一问题上

然后我们这个方程大概

给出了我们最后这个

模型的最终结果

中间的这些推导

我今天就不介绍了

然后这个方程

它基本上建立了

这两幅采集到的图象的梯度

和透明物体折射率场的

一个空间梯度的一个关系

然后通过这样的关系

我们可以通过采集

这两幅图象

对于折射率场里面的折射率

进行一个计算的恢复

然后我们通过这种

第二个创新点是

我们引入这种空间编码

光照的机制

这种空间编码光照主要是

为了实现对于光线的

一一跟踪

因为我们除了

知道光线怎么偏折的

还要知道这一根入射光线

对应的是哪一根出射光线

在此基础上

传统的这种方法

它都是在透明物体的背后

放这种标定板

通过识别标定板的特征

进行一个恢复

这样的话它重建的精度

十分有限

我们通过这种空间

不一致的编码光照

能够实现这种出射光线

和入射光线的一一对应关系

从而能够提升透明物体

重建的精确度

第三个点上述这个模型

给出了这个

透明物体在一个方向

上的折射率场的重建方法

为了重建这种三维的

透明物体

我们又提出了使用计算

层析方法进行透明物体的

三维重建

那如下图所示

最左边给出了一个

计算层析成像的一个

基本的原理示意图

也就是说我们在

这个物体的各个方向采集

它在不同方向上的

一个积分也好

或者是它的一个投影也好

然后通过这些

不同方向上的投影

来重建出这个物体的

三维形状

最后我们中间就是给出了

所使用方法的一些中间结果

它是这个兔子模型在

各个方向上的

一个折射率的积分结果

通过这个积分结果我们可以

实现计算层析的三维重建

然后实现对于这个三维

物体折射模型的一个恢复

然后在上述的这样研究思路

和方法的基础上

我们也设计了仿真的

验证实验

我们通过这种这是一个

这个领域里面常用的

标准数据集

在这个数据集上

我们使用了这种

透明物体的重建方法

然后将这个具有不同

折射率场分布的一个数据

能够实现非常高精度的

一个计算恢复

而且比前边的方法

在精确度上提升了2.1dB

然后最后我们也搭建了

基于上述方法的

一个原型系统

我们在这个原型系统

使用的这种投影仪加透镜的

方法来模拟一个平行的

入射光源

在最后通过这种分光镜

以及接收板的方式来接收

两幅在不同轴向位置进行

聚焦成像的图象结果

然后使用工业相机进行

实时的采集

能够对于这种透明物体

进行一个重建

我做了一系列

实际的实验

其中有一个是

对于这种固定的

折射率的薄透明物体

进行重建

就像这幅图所示的

这个CVPR的4个英文字母

我们是用这种透明的胶

涂写在这种薄玻璃上

然后这样的话

它相当于是

一个透明的物体

我们把它作为一个

目标物体

作为一个透明物体的重建

我们发现使用这种方法

能够很好的重建出来

它的这种折射率场的分布

然后把它渲染成这种

所谓的深度图

能够看到重建的结果

就有很高的精确度

然后我们也对动态的物体

进行了一个实验的采集

我们把蜡烛火焰上面的

这个热的气流

作为这个透明折射率场的

一个目标物体

进行一个采集

然后我们可以看到

它上面由于这个火焰焰心

它的温度造成空气

密度的不同

造成折射率的差别

也是能够通过这种方法

进行一个计算的恢复的

然后我们也在实际的这种

三维透明物体上

进行了一个实际的实验

在这样一个很奇怪的

形状上面

做了这种验证型的实验

通过计算这种层析

三维重建的方法

实现了对于这个透明物体

三维形状的一个直接的重建

然后这个工作是发表在CVPR

上面并进行了口头报告

然后我的第三个研究内容

是做了一个时空编码光圈

时空编码光圈的

投影景深增强系统

这件事情主要针对的

问题是说

我们投影仪

具有非常窄的景深

比如说我现在用的

这个投影仪

它为了使这个投影的亮度

尽可能的大

它就要做一个非常大的光圈

我们经常用相机拍照的

我们会知道大光圈

意味着非常窄的景深

也就是说这个

需要精确的调节

才能聚焦到这个屏幕上

如果这个屏幕可能

有一些形变

它就无法非常清晰的完成

这种投影成像

所以我这个研究工作的目标

就在于解决这种现有

投影仪的有限的景深范围

现有的一些研究工作

也有很多做这方面研究的

而且也有很多做这方面

问题的相关研究

其中有一方面相关的研究

是景深增强的摄影

因为景深

这往往是一个成像

或者是拍照里面

最关心的概念

它有一些计算成像研究工作

是将相机的光圈

变为编码的形式

然后通过这种先编码耦合

然后最后计算解耦的方式

能够实现就是采集成像的

这个景深增强

然后在投影上面使用

这样的方法还没有

他用的方法

和我所用的也不太一样

然后他所用的这样传统的

景深增强投影的方法

都是用多相机去投影

或者是提前在投影之前

对于图象进行一个预处理

将它的这个（散交）

模糊盒提前除掉

但这样会造成这个图象

质量的严重下降

也具有很大的问题

另外一方面相关的工作

也是斯坦福

就是当时在MIT的高等

他所做的一些高阶

光场显示的一些工作

它将这个显示屏幕叠成层

就通过两层或者多层的

这种投影显示

然后能够实现这个就是

显示里面的景深增加

这样的一些研究方法

也给这个工作带来了

很多的借鉴意义

下面介绍

我所做这件事情的解决方案

我们提出的方法是

高阶的编码光圈

也就是说在

大家可以看到这张图

这个示意图它代表了一个

投影仪投到了

一个斜着的平面上面

首先我们可以

把它的相机平面

和它的光圈平面提出来

我们认为这个投影

投出来的光线

是由这个图象平面

和光圈平面

这个平面共同控制

投出来的一个光场

然后这个投影的过程是

这个投影光场在

投影屏幕上的一个角度

积分结果

然后我们通过这种方式来

刻画这个投影过程

我们就能够来进一步

通过光场的工具来描述

这种投影的过程

所以整体的思路是

我们将这个图象平面和

光线平面看做一个

双平面的光场投影系统

然后通过动态的调节这个

光圈平面和投影图象

平面的模式

然后实现这种高阶的

编码光圈的投影

然后进一步使得投影在

非规则平面上的投影效果

具有非常清晰的显示效果

然后我们第二个创新点是

在这样的一个框架的基础上

提出了一个投影光场

解算的模型以及计算方法

我们将这种两个平面

投出来的光场

以及它的成像积分

图象积分的过程

刻画成一个光场生成

以及投影的过程

通过这种矩阵化的数学表达

我们可以建立成

一个优化的问题

然后最后通过这种

非负矩阵分解的

数值求解算法

能够动态的求解出

在图象平面和光圈平面

投影的这种应当

投影的这种图象模式

从而实现投影景深的增强

从实验结果上我们可以看到

我们所搭建的这个系统

在光通量和景深上面

实现了一个共优

因为传统的这种投影设备

要么光通量大

但是景深就小

要么光通量小景深大

但是通过我们

这种编码的方式

能够实现在不明显降低

光通量的基础上

提升投影的景深效果

我们所搭建的系统是在

投影机平台的基础上

加入了一个通过这种

通过控制的一个编码光圈

然后加入了一个深度相机

去采集屏幕的形状

为整个编码光圈提供这种

屏幕的深度信息来源

我们也做了一些实际的实验

实际仿真的实验

能够证明我们这个景深

增强效果确实能够带来

投影图象质量的增强

然后我的第四个研究内容是

时间编码光照的显微运动

去模糊

这个工作是我在去伯克利

访问期间完成的

这个工作的主要着眼的目标

是在显微成像里面

因为显微里面由于它的

放大倍数非常大

所以在显微环境里面

任何微小的运动

在成像的这个视野里面

都会变成一个

非常高速的运动

然后这种高速的运动在

现有的成像设备里面

往往带来运动模糊

即使我曝光的时间

只有几毫秒

然后这个东西

在运动的过程中

也会造成一个运动的模糊

比如说左下角这两幅动图

可能有点看不太清楚

它就是说这些都是一些

微流管或者是显微里面

常用的一些样本

它里面在高速的运动

成像的话很难看清楚它

里面充满的这种运动模糊

然后传统的这种解决方案

都是我降低曝光时间

我拍的越短

让它运动的越小

但是这样造成的问题就是说

我降低了曝光的时间

但是我的光源亮度不够

所以我就是信噪比下降

然后我的成像质量下降

得不到保证

所以也是存在

一个矛盾的问题

所以怎么样如何能够去除

这种运动模糊

实现清晰的成像性能

也是显微成像里面一个比较

关注的内容

针对这方面的研究

也有一些相关的工作

首先第一个工作不是做

运动显微运动去模糊的

但是它是我们这个工作的

一个灵感来源

或者是一个基础工作

美国加州理工大学

它提出在这个显微镜里面

我们将它传统的这种

显微里面照明单元

换成一个变成一个

可控制的LED阵列

然后通过这个光源在

不同角度照射

这个显微样本

能够实现这个显微的

超分辨率

这给我们带来一个

启发就是

显微平台同样可以

做编码的光照

然后另外一个方向的工作

在宏观的这种成像上面

MIT的一个研究者

他提出使用这种编码的快门

也就是说在相机单次曝光的

时间过程内

用编码快门的方式

开关快门若干次

然后使这个运动模糊

形成一个

形成一个特定的模式

这样的模式可以进行一个

运动的去模糊

进而可以实现清晰的成像

我们从两个工作

得到启发就是说

在显微平台上

我们可以通过编码

光照的形式

实现编码曝光

从而控制成像的运动模糊

达到运动模糊的去除

所以我们第一个创新点

就是在LED的阵列显微镜

上面进行时间编码光照的

计算成像

如上面的一个示意图

传统的这种在成像

过程中的一个曝光

就是一个方形

也就是说保持在相机

开始曝光

在结束曝光的时间内

是一个稳定均一的

这样一个光照

然后我提出的方法是说

在相机开始曝光到

结束曝光这个过程中

使用一个精细设计的

这样一个光照的模式

来照射这个样本

这样样本在运动之后的模糊

也是受到了这个光照

模式的一个耦合

所以我最后拍得到的

运动模糊的这个样本

它相当于是具有

这样特定的模式

然后我们可以通过计算

去模糊的方法

实现模糊的去除

然后我们所依赖的平台

就是刚才的那样一个

通过把显微镜里面的

照明单元

换成LED可编程阵列的

这样一个编码光源

基于上述这种朴素的思想

我们也建立了相应的

这样的一个去模糊的模型

我们把它刻画成一个

矩阵相乘的问题

然后怎么样来求解最佳的

我们提出了一个基于

条件数优化的光照

编码模式的求解方法

然后使用了

一些智能优化算法

然后求解这个最佳的

光照模式

能够使这个光照模式

在尽可能不降低

光照强度的基础上

实现模糊盒的

一个最优的编码

然后最后通过解码的时候

能够尽可能佳的

恢复清晰的图象

然后我们在仿真实验上

也进行了一些对比的结果

然后这个是把一个这种

这个应该是根茎的样本

就是我们平常做生物实验

经常见到它

就是一个植物的横切面

把这个东西在

运动平台上横移

然后传统的这种曝光方法

这么一横移

它直接再一拍照

就一片模糊什么得不到

在这种01的开关编码模式

它的也是这样的

一个模糊效果

但是经过这种运动

去模糊的算法

我们可以看到

不同的这种光照编码模式

能够带来非常不一样的

这个去模糊的结果

通过我们这种精细的

连续的光照模式的编码

能够实现最佳的这种

去模糊效果

在此基础上

我们也在实际的

平台上进行了实际的实验

我们在这样的一个显微镜

上面通过编程

控制它这个LED的阵列

然后在一个非常短的

曝光时间内

使它的光源具有

光照强度的强弱变化

下面的视频是经过慢放的

实际上它大概变换时间

都是在微秒级的

通过这样的一个系统

我们在一些实际的样本上

进行了一些实验

这两幅都是把

这种静态样本

在一个运动平台上

进行的实验

最后这幅图

我们是用一个微流管

在使用了一些

他们生物里面管那个叫珠子

就是使用这个珠子在微流管

里面进行快速的空间移动

就是传统的这种成像方法

就得到的肯定是这种

一片模糊

然后我们通过所提出的这种

时间编码光照的显微运动

去模糊的方法

实现了这种模糊的去除

能够得到清晰的这种

显微成像结果

然后这个也是其他的

就是开头我给大家放了一些

这种快速运动的东西

它的模糊的效果

然后我们也把这个方法

进行了一些仿真的实验

可以发现

如果应用了这种方法

这样的一个成像

就可以实现一个清晰的

显微成像效果

上面就是我主要的

四方面的研究内容

下面我对我的研究成果

做一个总结

我博士论文的题目是

时空编码计算成像研究

主要是将使用时空编码

的这种模型与方法

在光信号的光谱

深度角度与时间维度

进行了四方面的研究

分别针对光谱视频的采集

和透明物体的重建

以及投影景深的增强

和显微运动的模糊去除

进行了研究

光谱的工作文章发表在

期刊IJCV和光学期刊OL上面

然后透明物体重建是

CVPR2014年的口头报告

然后投影景深增强是ICCP

是计算摄像学的一个大会

也是上面的一个口头报告

这个也是我们华人学者

就是我们实验室

第一次在这个会上

能够进行口头报告

然后我们最后一个工作

这个显微运动去模糊的工作

也是发表在期刊OL上面

然后主要的工作总结就是

我的光谱视频的这个

主要是提出针对这种

传统成像能力与

高维数据需求的矛盾

提出了一种基于时空编码

混合相机的光谱视频

采集方法

实现了这种自适应式

高分辨率光谱视频的

实时获取

第二方面就是针对光信号

折射现象无法有效采集

与重建的病态问题

提出了一种基于

空间编码光照的

透明物体重建方法

利用光场表达工具

将光传输方程模型

在计算成像框架内

进行了全新推导

实现了复杂折射现象

与透明三维物体的

有效采集与重建

然后第三方面的内容

就是针对投影显示设备

景深范围严重受限的问题

提出了一种基于时空编码

光照的投影景深

增强的方法

实现了在复杂投影

条件下的清晰投影效果

最后就是针对显微成像中

常见的运动模糊问题

提出了一种基于时间编码

光照的运动去模糊方法

实现了高速运动样本的

显微成像模糊去除

在未来也有一些未来

工作的展望

第一方面就是配合着

我们实验室的这种研究方向

我们想做一些大视野

高分辨率的显微成像仪器

能够进一步的揭示科学规律

观测自然现象

然后另外一方面

也希望能够继续做更新型的

这种新型成像或者是

计算显示的设备

包括结合现在的

这些热点的研究

包括虚拟现实全景图象等

新媒体这些工作

去做一些与应用相结合的

亮点性研究

总结一下获得的

学术成果以及奖励情况

在博士期间第一作者

发表的例文一共有7篇

然后有3篇是SCI

两篇是国际的会议

还有两篇其他的期刊

在博士期间

也申请了5项专利

其中是4项中国的专利

已经授权

还有1项

在申请中的美国专利

所获得的奖励

是在入学的时候

获得了清华大学博士生

新生奖学金

然后在2014年的时候

获得了研究生国家奖学金

然后通过也获得过

清华大学第21届

学生实验室建设贡献奖

以上就是我博士答辩的内容