短时傅里叶变换在线视频

同学们大家好

这一节我们将会在傅里叶变化的基础之上

引入短时傅里叶变换

通过傅里叶变换计算出来的频谱图

实际上是对于整段音频信号的

频率进行了统计

因此在获得频谱图的时候

我们已经丢失了波形在时间上的

先后顺序的信息

比如说如果有一段声音

它一开始的频率比较低

之后的频率比较高

那么从傅里叶变换的结果来看

会得到两个峰值

一个峰值是低频的

一个峰值是高频的

那么如果我们把顺序反过来

它是一开始频率比较高

后来频率比较低

我们可以看到它的频谱图是完全一样的

都是两个峰值

体现不出它的顺序关系

更糟糕的情况是

如果我们把一高一低两个信号叠加在一起

然后我们得到这样的一个信号

他从频谱图看起来跟先低频在高频的信号的

频谱图是完全一模一样的

那么时间对音乐来说是非常重要的

建筑的基础

如果频谱图出体现不出时间的先后次序

在音乐当中就没有那么大的用处

还记得我们在上节课讲时域处理的

时候用过的分窗技术吗

我们在上节课讲ms

同样也是一个局部的统计量

它是没有时间的先后次序的

但是我们可以把整个声音切成一个个的小窗口

对这些窗口进行统计量的计算

那么窗口本身是分布在时间轴上的

因此每个窗口拼起来

就可以体现出一定的时间性

我们不妨在做傅里叶变换之前

也对诊断信号做一个分窗

对其中的一个窗口作傅里叶变换

那么这里面每个窗口不要太大劲

可能只包含一种频率

同时也不要太小

让它可以包含好几个周期

这样才可以计算出正确的频率

当然在分窗过程中

我们不可避免的会出现一些窗口

正好处于两种频率之间

那么这样它计算出来的

傅里叶变换的频谱就会像刚才一样

就是出现两个不同的峰值

但是过了过渡阶段之后

我们又可以看到单一频段的一个频谱了

这样在不同的时刻的窗口

我们就可以观察到

声音在不同的时刻的频谱

我们就可以看到

频谱随着时间的变化

我们把这样的一种变化

也叫做短时傅里叶变换

为了能够更直观地看到频谱

在窗口移动过程中的变化

我们把频谱旋转90度

并且放置到该窗口所在的时刻上

并且依次的排列起来

之后我们就可以用不同深浅的颜色

来表示频谱的能量

这样的话我们就可以得到前面

我们在做实验当中

所绘制的这一个时频图

深色的表示它的频谱的能量是比较高的

浅色代表它的频谱能量比较低

那么从这张视频图里面我们可以看到

前五秒它的能量主要集中在

在一个比较低频的频段

那么在一个过渡阶段之后

后五秒

它的能量主要集中在一个高频的频段

当然了我们常接触的乐器声

并不是单一的正弦波

比如说我们听到钢琴的自然音阶

每个音最亮的一条线都显示到它的主频

那么这个主屏随着我们在演奏不同的音

它是慢慢升高的

但是除了主频之外

每个音通常还会伴随着一系列的

跟主频成整数倍关系的这样的泛音

换言之

乐器声中的每一个单音其实都是一些频率

成比例的正弦波的叠加的结果

那么这结论立刻

就可以引出一种很朴素的音色

合成的这种方法

叫做加法合成

下节我们将介绍加法合成的具体细节