音乐特征提取CQT在线视频

同学们大家好

在这一节里面

我们主要是来介绍

音乐里面的CQT特征

那么在计算机音乐当中

音频的频谱是非常重要的特征

我们前面讲过短时傅里叶变换

那么它可以展示

频谱在时间轴上的分布

但实际上我们常见的

音乐演奏当中

特别是西方古典音乐以及流行音乐

那么所用的频谱都是一些固定的组合

那么具体来说

例如在钢琴演奏当中

声音的频谱一定会满足

半音阶的关系

因为钢琴的每一个键的音高

本身就是根据12平均律来定音的

那么我们可以来听一下

在一个半音阶下面的钢琴的12个音

在半音阶的假设下面

每一个音的频谱的分布

都有一定的特点

那么我们如果对

钢琴的键盘进行编号

我们来观察一下

这里面的第48号

按键的频谱

那么我们可以看出

在竖直方向

它的频谱的分布是呈

整数倍分布的

那么这主要是因为

钢琴本身可以当做一件弦乐器

满足我们在前面章节里面讲过的

弦振动方程

而其它音的频谱的分布是类似的

只不过他们的主频不一样

那么并且在12平均律的假设下面

相邻的两个音的频率比都是相等的

按照半音阶的假设

音符以12个音作为一组

它可以被分为若干个八度

两个八度之间的频率比是1:2

而相邻的两个音的频率的比

则是2的1/12次方

这样我们就可以对音频进行编号

在MIDI编码当中

会使用128个按键

而钢琴所使用的则是从

21号到108号一共88个按键

在交响乐团当中所使用的标准音

A4

那么它是第69号

频率是440赫兹

当然也有些乐队会用441

或者442这样的频率

那么如果用这个A作为一个参考音的话

那么其它音的频率

就可以用这样的一个公式来计算

那么我们可以看出这些音高的分布

是呈指数分布的

在实际演奏当中

由于调音的关系

再加上大部分乐器其实

是有演奏微分音的技巧的

因此音符的频率不可能正好是标准的音高

那么一种可行做法就是

把傅里叶变换中的系数

进行进一步的离散化

以邻近原则

将音高化整为零

那么近似到半音阶上面的

每个音上面

这种做法本质上是

使用时间上的窗格以及

频域上的窗格

对整个音频进行进一步采样

等于说我们用这样窗格

放到整个音频的视频图里面

然后我们看一下

每个点落在哪一个格子里面

从而进行进一步的采样

那么这里面我们要注意到的是

因为半音阶是指数分布的

因此我们看到

现在的这些窗格在竖直方向

它并不是等距的

实际上由于八度之间满足两倍的频谱关系

因此

在钢琴键上面等距的八度音

在频谱上面实际上是呈等比数列分布的

那么这其实并不是什么好的事情

因为一方面它跟音乐上的语义不符合

另一方面在计算机程序当中

数字计算都是有精度问题的

如果他们不是等距分布的

那么不同音的精度就无法统一

一种切实可行的处理

就是对频谱取对数

这样原先等比分部的音高就会变成

等差分布的

从而在纵方向上进行分窗的时候

他们就可以像在时间上进行分窗一样

是等距分布的一些窗口

只不过对数频谱会对

前面的一个步骤

也就是傅里叶变换提出更高的一个要求

在线性频谱当中

短时傅里叶变换本质上是用一些

宽度一样的正弦波

去对原先的音频

进行卷积

但是在对数频谱下面

要保证取完对数之后还是等宽度的

就需要保持频率跟带宽的比

Q=f/B是一个常数

那么这样的傅里叶变换

也叫做constant Q transform CQT变换

那么在这里面我们忽略那些

复杂的数学计算

我们直接用python的第三方模块

来观察一下CQT的特征

并且我们可以跟短时傅里叶变换

做一个比较

那么接下来我们会使用

哥伦比亚大学的

librosa这个python的第三方模块

来提取CQT特征

那么按照这个官方文档的说明

librosa是可以通过pypl来安装的

所以我们首先在

命令行里面可以来安装

这个librosa

通过pypl命令可以来安装librosa

因为我之前已经装过了

所以它只会验证一下这个版本

并不会真正的去做更新

装好之后我们可以去参考

librosa的官方文档

可以打开他的官方文档

我们最重要的事情就是

通过库去观察他的CQT特征

这个模块是在Core下面的

Spectral representations

就是频谱表达

那么我们打开之后

我们会看到有短时傅里叶变换

有这个CQT

那么我们今天任务就是要

比较一下这个短时傅里叶变换跟CQT的

一个差别

那么我们可以参考

官方文档提供的事例的代码

我们把这个代码直接复制粘贴到

我们的程序里面

然后去

以刚才我们听到的钢琴的半音阶为例子

的一个频谱的表达

我们把官方提供的示例代码

全部的抄了过来

并且略加了修改

那么因为后面我们需要用到

numpy的一些函数

以及我们需要用Pyplot进行绘图

所以要把它们import进来

那么在librosa里面

它提供了一个load函数

可以更方便的去

获取音频的数据

那么获取这音频数据之后

我们就直接使用librosa下面的

Stft去获得短时傅里叶变换的频谱

以及用CQT去获得

CQT变换的频谱

并且我们对频谱都进行

强度的对数化

这样话会看的更加明显一点

然后我们通过subplot

把这两个图都画出来

那么现在我们运行一下看一下这个图

那么我们可以看到

这里的差别是非常的明显的

首先这Stft就短时傅里叶变换用的是

线性频谱

所以你看到它的音高的

分布并不是等距了

那么越往右边它的这音高的

分布越稀疏

而对于CQT变换来说

因为他是做过对数频谱的

所以半音阶它是完全是一个

等距离的一个阶梯的形状

此外因为它用的这个

傅里叶变换的这个

卷积的宽度不一样

所以你在Stft里面看到

高频的地方它的精度就会比较差

而对于SCQT变换来说

它在低频跟高频的精度是基本上一样

那么后面我们将会使用

以CQT作为基础的

频谱

作为音频同步的特征

尽管在实际演奏当中

CQT特征会对半音阶之间的微分音

进行四舍五入

那么光从音乐的特征的角度

这些微分音也许也是

非常重要的一些特征

特别是对于非西方音乐而言

但是如果只是从音频同步的角度来看

CQT特征无疑是一种

化零为整的思路

它可以将音频集中在与乐谱所

要求的音高上面

下一节我们将会对

这种特征进行进一步压缩

来介绍半音阶chroma特征