3.2.1 图像的几何变换学习视频在线视频

同学们好，这节课我们来学习图像的几何变换

图像的几何变换是指用数学建模的方法

来描述图像位置、大小、形状等变化

比如说有时候我们采集的一幅图像会比较小

那我们需要对它进行放大处理

或者说我们在拍摄图像的时候

图像和这个景物之间不是一个平行的关系

我们有可能会把其中的一个长方形拍摄成一个梯形

这时候我们就需要对这个图形进行校正

就需要用到几何变换的方法

那图像的几何变换是图像处理和分析的基础

图像的几何变换包括图像的空间平移

比例缩放、旋转、仿射变化还有图像的差值

图像几何变换的实质其实就是改变了图像像素的空间位置

并且要重新估算在新空间位置上的相素值

我们先给出图像几何变换的一般表达式

这个式子中 我们用xy表示它在原始图像中的笛卡尔坐标

uv表示变换后的图像的像素的笛卡尔坐标

我们用uv等于X(x,y)和Y(x,y)来表示这个

原始图像xy和变换后的uv之间的关系

那如果说当这个X(x,y)等于x Y(x,y)等于y

也就是说是当uv等于xy的时候

这个时候其实就是变换后的图像

仅仅是对原图的一个简单的拷贝

那图像的几何变换包括几种最基本的

比如说平移、旋转和尺度缩放

我们先从平移开始学习

图像的平移变换是指的是

如果图像的像素点xy平移到x加x0 y加y0时

则这个时候图像变换函数就为

u等于x加x0 v等于y加y0 这就是图像的平移

那x0 y0就代表了xy它所对应的平移量

这时候我们可以把上面这个表达式写成一个矩阵的形式

写出矩阵的形式 其实就是把xy写成一个列向量

然后uv写成一个列向量 把x0和y0也表示成一个列向量

那么这个时候呢我们就可以用一个矩阵的形式来表达

uv等于一个单位阵乘以一个xy这样一个列向量

再加上它所对应的平移量x0 y0

这就是平移变换的表达式

接下来我们介绍第二种图像的几何变换 比例缩放

将图像的坐标xy缩放到Sx和Sy倍 则这个时候

图像的变换函数就为u等于Sx乘以x v等于Sy乘以y

那其中这个Sx和Sy 其实就是它的缩放因子

那如果当Sx和Sy大于1的时候 就相当于对原图的一个放大

如果当Sx和Sy小于1的话 则表示对原图的一个缩小

我们同样可以把上面的这个式子写成一个矩阵的形式

我们把这个缩放因子放在一个矩阵里边

然后把uv写这个列向量 xy写成一个列向量

那么这个时候比例缩放的矩阵表达式就是

uv等于Sx 0 0 Sy 乘以xy 这样一个列向量

接下来 我们看一下第三种变换称为旋转变换

如果将输入图像绕笛卡尔坐标系的原点

逆时针旋转θ角度的时候

则这个时候变化后的图像坐标就为

uv等于Cosθ 负SinC Sinθ Cosθ 乘以一个列向量xy

其实这个时候 我们之前学过极坐标的话就很容易得到

u其实是等于Cosθ乘以x减去y乘以Sinθ

v是等于Sinθ 乘以x加上的Cosθ 乘以y

那这就是旋转变换

那图像的旋转变换 我们给出一个例子

左边这个图像是它的原图像 是一个丽娜图像

如果我们对这个图像旋转30度之后就变成了右边这个头像

所以从这个图像可以看出来由于旋转之后有些像素

超出了我们这个原图像这个相素的坐标范围

所以有一部分丢丢失了

比如说这个白道的这一部分 右上角的这一部分

经过图像变换之后 旋转之后

发现它转出去 所以这一部分就丢失

所以大家在一起用图像旋转变换的时候 需要注意这么一点

接下来我们介绍仿射变换

仿射变换是一种二维坐标到二维坐标之间的线性变换

它可以保持二维图形的平直性和平行性

那什么是平直性呢

其实就是说它在做仿射变换的时候

一条直线 它仍然把它映射成一条直线

它不会把它映射成一个圆弧

那平行性指的是如果在这个图像内有两条平行的直线

那么它经过变换之后 仿射变换后 它仍然是平行的

它不会变成相交的 这就是它的平行性

但仿射变换有一个问题

就是说是如果这个图形里边两条直线是相交的话

那它仿射变换之后不能保证这两条直线的角度

也就是说它的角度有可能变大 有可能变小

但它仍然是相交的这是仿射变换它的一个基本性质

那仿射变换如果我们也用矩阵的形式给出的话

它的一般表达式就是uv等于右边是一个2乘以3的矩阵

也就是两行三列的一个矩阵 然后乘以xy

因为这个矩阵也是一个两行三列的

所以我们需要在xy下面再补上一个1

以和这个前面这个矩阵是对应的

那从这里可以看出来

如果我们之前讲的平移 比例缩放和旋转变换

如果我们把它放到这个矩阵里边去对应的话

我们可以看出它其实是仿射变换的一种特殊情况

比如我们说平移变幻 平移变换大家可以看一下

其实我们说的平移变换是平移了x0 y0

那它所对应到这个矩阵里面

它的参数其实就是a2等于1 a1等于0 a0等x轴上的平移量

b2等于0 b1等于1 b0等于它在y轴上的平移量

那比例缩放和旋转也可以同样对应到里边去

我们可以跟前面的这个它们相应的矩阵表达式去对应

那我们将上面那个式子 如果分开写的话

这个就跟我们之前的三种变换基本上可以对应起来

我们把这个2乘3的矩阵拆成两部分

左边这一部分让它乘以xy右边直接加上一个a0 b0

这就是说仿射变换我们可以把它写成这种形式

这时候我们可以通过设定加权因子a2和b2的值

就可以得到不同的变换

比如说这个时候如果我们选定

a2等于b2等于1 然后b2是等于0.1

然后a1等于a0等于b0等于0的话

就相当于是图像一种剪切

我们给出了一个例子

这是一个原始图像 这是利用上面我们设定的加权因子

对这个原始图像变换后得到的结果

大家看 这其实就是相当于对这个图像中的列进行了剪切

我们刚才说的是一个用2乘3的矩阵来进行表示仿射变换

那么我们如果把xy下面加上1 uv下再加上1的话

我们也可以用一个3乘3的矩阵去描述这个仿射变换

那么仿射变换如果用3乘3的矩阵表示的时候

下面是补0的

这样的话 它的自由度或者说它的加权因子可变因子也是有6个

所以我们说仿射变换它是有6个自由度

对应变换中的6个系数

因此仿射变换它可以保持平行的直线在变换之后仍然是平行

如果是三角形的话 用反射变换变换后仍然是三角形

但是它不能保证四边形以上的多边形的这种映射

比如说是四边形五边形和六边形

在它用仿射变换的时候有可能会少一个边

比如说四边形有可能会映射成三边形

再就是仿射变换的乘积和逆变换仍然是仿射变换

我们从前面的这个定义也可以看出来

仿射变换基本上可以有初等变换推导得出

所以它应该也是可逆的，所以它的逆变换也是仿射变换

接下来我们给出仿射变换的几种常见的类型

前面的这几种比如说恒等

其实就像我们举的第一种情况是简单的一个拷贝

第二种是平移、缩放、旋转这几种我们前面都已经给出过

那大家可以看

因为公式我们刚才都已经给出了 我们看这个图

这个是恒等 我们说是简单的拷贝

那平移 相当于对这个图选择x0 y0不同的时候

它在这个图像中的平移的这个尺度是不一样的

再就是第三种 按比例缩放

这个很明显相对原图来说它是缩小了

再就是第四种旋转，这几种我们在前面都已经给大家介绍过

接下来 我们看除了前面四种之外

还有三种类型就是 第一种是裁剪

裁剪有分两种 一种是水平 一种是垂直

如果是水平裁剪的话

这个外方向v就直接等于y 这个是不变的

只对u方向做变化u就等于x加上α乘以y

那么这个α就决定了你裁剪的这个宽度

像这个图相对于原图来说它相当于把这一部分进行裁剪掉了

那垂直方向的裁剪跟这个水平方向的裁剪是类似的

它是保持x轴方向是不变的是u等于x

变化的其实是v这一部分，v等于β乘以x加上y

这个β的尺度也决定了你裁剪在垂直方向上裁减的大小

最后一种是垂直反射

这个垂直反射就相当于我们原图直接进行的往下一个反转

这个时候保持的是u等于x这个轴不变

只对v方向做反方向 v就等于负的y

那实际上 在我们应用的时候

仿射变换不是说是我们是单一的一种

我们经常是把几种仿射变换结合起来使用的

接下来 我们介绍图像几何变换的第二种情况

就是第二种常用的变化 称为透视变换

透视变换与之前的仿射变换不同

透视变换是从这个投影中心往下

它是把这个原图中的一个目标图像

然后经过一点进行投影

映射到一个新的平面上 得到一副新的图像

所以我们说透视变换再跟之前的仿射变换去结合

会发现仿射变化其实是我们透视变换的一种

那透视变化什么情况下用的

比如说像我们这这一幅图 很明显

这个图在拍摄的过程中有一个拉伸

或者说是我们说它有一个变形

那这时候 我们希望对它进行校正的话

我们就可以采用透视变换的方法来进行

透视变换也是一种平面映射，它称为透视变换 也称为投影映射

它的表达式3乘3的矩阵来表示的这3乘3的矩阵里边有9个参数

也就说是透视变换相比原来的仿射变换它多了三个自由度

那这个它是一个3乘3的矩阵

所以我们这个透视变换的表达式就变成了u’v’w’

等于这样一个3乘3的矩阵成一个x y 1

这样的话 因为它是由九个自由度的

所以它可以保证任意方向的直线

经过透视变换之后仍然是直线

那它与仿射变化更多一点的是因为它9个字

它还可以保证四边形映射过来仍然是一个四边形

这就是我们刚才举的这个例子

这个图明显的有拉伸

然后我们用透视变化进行变换之后呢

可以把这个图透视到一个新的平面上

得到一个正常的图像

再就是如果我们想把这个图里边

左边这个图里边的这一块切出来，切到放大进行看的时候

我们就可以用透视变换

把它投影到一个新的平面上得到这个图像

那我们之前说的是几种几何变换

都是对图像的像素点的位置发生了变化

这之前呢 我们有没有考虑过图像的像素点的位置发生变化之后

那它所对应的相素的值是怎么来确定呢

比如说，我们这个里边xy经过变换之后

变到这个红颜色的这个位置上

那么这个位置它又不是在相素点的整点的位置上

怎么才能确定这个x’y’它所对应的相素值呢

我们常采用的方法是插值的方法

一个很直观的想法就是近邻差值

近邻插值我们也称为临界差值

其实就是找这个点最近的相素点，比如说这个x’y’

它很明显是和这个黑色的这个点是最近邻的

那我们就把这个黑色这个点的像素值赋值给红色的这个点

这就是最近邻差值法也称为临界插值法

这种方法计算简单

但是当图像中的像素的灰度值有比较细微的变化的时候

比如说我们这个地方到这个地方正巧是有一个边缘线的话

那么这个时候 这个赋值就会发生较大的误差

也就是说它在图像中产生人工痕迹

比如说我们说的那种轻微的马赛克现象

所以现在人们常用的方法是双线性插值

双线性插值也成为一阶插值

这种方法它是沿图像矩阵的每一列先进行插值

按列插值完之后呢

然后再用插值后得到的矩阵在沿行的方向进行线性差值

或者说是我们也可以对先对它按行的方向进行插值

插值之后对插值的结果在按列的方向进行插值

比如说我们这个地方有一个示意图

如果我们已知ABCD这四个相邻的像素点的它所对应的值

我们要求中间xy的这个像素点所对应的像素值

一个直观的想法就是说

我能不能先通过这个AB和CD得到相对应的F和E这两个点的值

然后由这两个点再去得到xy的值，那这就是插值的方法

我们可以先通过AB得到F点的相素值

怎么得到呢

就是用我们之前这个说我们说双线性插值是一阶插值

那么其实就是可以用这两个点插值得到F点的像素值

也就是f(F)是等于(x-i)f(B)减去个f(A)，然后再加上个f(A)

这和我们之前的一些插值有一个区别的地方

就是说这个地方应该是x减i除下面是B减A的这个距离

但是因为我们这个地方是相邻像素，所以这个位置应该是1

那这时候直接把这个分母给省略就可以得到这个值

那相对应的类似的道理

我们也可以得到E这个点所对应的相素值

也就是f(E)，它可以等于用CD这两个点来得到

f(E)就等于X减i f(D)减去f(C)，加上一个f(C)

那如果E和F我们已经得到了的话

我们就可以沿这个列的方向再去插值得到xy这个位置的相素

那f(x,y)就是在这个方向上

我们再做一阶差值 它就等于y减去j f(E) 减去f(F)

再加上个f(F) 点它的像素值

这就是双线性插值的方法

那么双线性插值它有一个问题

就是说是因为我们是沿水平和垂直放向

也就是说沿行和列去做插值的

所以这个时候在这个方向上是斜率是吻合的

但是在斜方向上的话 它的斜率是不吻合的

所以用双线性插值的时候

如果你做平滑的话

它的平滑作用会使图像的细节产生一个退化

那么这种现象如果在我们将一个图像放大的时候

效果就更为明显，所以人们又提出了第三种插值的方法

也是我们现在用的比较多的，我们称为卷积插值法

当图像放大的时候

我们是把图像像素的灰度值在像素值中间插值插成0

然后再对这个0通过卷积的方法对它进行补充

得到这个0所对应的像素值

我们以这个例子来看

它是一个2乘2的这样一个矩阵，也就是说它有四个像素点

那这四个像素点的像素值是知道的

我们对这个小图像进行放大的时候

我们把它放大成3成3的

3乘3的这个放大是怎么去赋值呢

我们x11 x12 x21 x22任然在4个角上

我们把中间插成0值，也就是说中间插入的这些像素点

它所对应的像素值为0

这时候呢 我们再用一些低通模板对这个块进行

对这个整个的3乘3的图像进行卷积

卷积之后就可以得到每一个插入的这个像素点所对应的像素值

那么常用的模板哪些呢，一般是我们用的是低通模板

低通模板常用的有柱形、棱锥形、钟型、三次B样条的

接下来呢我们看一下，我们给出了一个例子

最左边的这个图像是原始图像

我们对它进行用我们刚才说的三种插值的方法进行放大

B和C分别是最大近邻插值的放大方法和双线性插值放大图像

D是有三次B样条插值放大了

很明显我们可以从这个图上可以看出来

用三次B样条插值的话

可以克服我们这个近邻差值的一个轻微的马赛克效应

然后也可以客服这个双线性插值它的那个平滑的那种缺点

好 这节课就讲到这儿

谢谢大家