音乐特征提取Chroma在线视频

同学们大家好

接下来我们要在CQT特征的基础之上

介绍半音阶特征

CQT特征是以对数频谱对音高进行

半音阶的一个划分

那么如果我们把一个八度的12个半音

均匀的排列在一个圆上面

所有的音符将会以

螺旋上升的方式进行排布

并且不同的相隔八度的音

将会等距地分布在垂直于水平面的一条

直线上面

例如不同八度的C不同八度的D

那么它都会排布在一条垂直于

水平面的直线上面

那么接下来我们将对CQT特征

进行进一步的压缩

我们会把不同八度的声音

全部的都压缩在同一个八度上面

比如说我们将会把半音阶的音高

进行进一步的分组

例如我们可以把不同八度的C

分类在一个叫做Chroma C的一个组里面

然后把不同八度的C#

分在一个叫做Chroma C#的组里面

然后把不同八度的D

分在一个叫做Chroma D的组里面

那么对同一组的CQT频谱

例如Chroma C下面的所有不同八度的

C的CQT频谱

那么我们就会进行加和

这样话任何一个音的特征

都会体现成一个12维的向量

例如刚才我们听到了这段演奏的音频

那么我们在CQT的频谱下面

从肉眼上是能够

看到和弦是在什么地方

而旋律又在什么地方的

但是如果在计算机程序当中

我们基本上是以

频谱的强度作为依据的

那么这时候就经常需要处理在

不同八度的频谱

那么例如前面的这个

哆咪唆这样的一个大三和弦

在频谱当中它的根音其实就是

下面这三条代表频率的黑线

那么由于不同的钢琴的音色的问题

那么上方的谐频

有些钢琴它的谐频也是会比较强的

而且有可能这些谐频会更加的明显

但是如果按照八度进行压缩

提取半音阶的频谱

这时候不同的八度的声音都会被压缩到

同一个窗口当中

从而在音高的表达上面就会更加的清晰

那么接下来我们将再次地借助

librosa模块来提取音频的半音阶特征

librosa的半音阶特征模块

在Feature extraction这个栏目下面

那么我们可以看到我们既可以用

短时浮力变换去提取半音阶接模块

可以用CQT变换去提取半音阶模块

那么我们来看一下这个CQT变换

提取半音阶模块的使用

我们只需要去露着这音频

然后用feature.chromaCQT就可以

对半音阶的特征进行提取

那么接下来我们就在

排产程序里面来实现一下

我们要处理的音频依然是刚才的这段

钢琴的半音阶的音频

也就是我们听到的这段钢琴的发音键音

那么我们按照官方文档的要求

首先把这个音频读到

通过拉librosa.load进行读取

读取完之后我们通过

Feature.chromaCQT这样话就可以显示

这段音频的半音阶频谱

好我们运行一下

好运行结束之后

我们可以看到这段半音阶的频谱

就显示出来了

那么它比起CQT的特征会更加的明显

并且所有数据都被压缩到了

12个格子里面

等于说每个音都是一个12维的特征

这样话我们在

进行音频同步的时候

拿这个特征来做比对

是非常的合适的

那么这里面

其实还有一些小的问题需要处理

比如说音与音之间的边缘

会有一些异常的一些亮条

那么这些亮条其实是

可以通过一些平滑处理来解决的

那在librosa里面提供了一个叫做

Chroma cens这样的一个特征

那么这个特征

当然有些参数你可以自己去设置

它最重要的一个处理

就是对能量进行了

标准化

除此之外

还会对数据进行

相应的平滑

那我们在他的示例文档里面会看到

原来在Chroma CQT里面

他的音与音之间边缘是非常明显的

那么经过这平滑以及标准化之后

音与音之间边缘就被平滑掉了

这样话我们在处理

音与音之间边缘的时候

就不会出现异常的亮条了

因为这些亮条是很容易

在音频同步的处理过程中

造成一些异常的情况

那么让我们来看一下

通过Chroma cens这样一个标准化

以及平滑处理之后的半音阶

会是什么样的

那在接下来实际程序里面

我们在上一个程序的基础上增加了一个

Chroma cens的特征

并且通过一个子图的形式把

它与CQT半音阶特征进行比较

我们运行一下看看

我们可以看到在Chroma cens

这样的标准化

并且进行过平滑的半音阶特征里面

音与音之间的间隔就被平滑掉了

同时数值的范围也进行了一个标准化

那么用这样的特征去进行

音频同步的话会非常的合适

那么后面章节

我们基本上都会用chrome SARS

这个特征来做特征的比对

并且实现音频的同步

以上就是有关半音阶特征的介绍

那么在下一节当中

我们需要对不同的音频的

半音阶特征进行匹配

从而实现音频的同步

让我们来期待一下