音高跟踪在线视频

同学们大家好

欢迎回到计算机音乐的课堂

今天我们会介绍

计算机音乐的一个应用方向

也是一个非常重要的课题

就是音高跟踪

音高跟踪在上个世纪的计算机音乐的

早期研究当中已经很受重视

最主要的一个原因是因为

音高在音频编码中具有很重要的地位

而音频编码又是上个世纪

无线通讯领域中的一个重要课题

让我们先来看一段声音的频谱图

频谱图基本上可以大致地体现人说话时

或者乐器演奏时候的音高变化

那么从这张频谱图里面我们可以看出

在每一个时刻

音高的

共振峰

它的分布基本上都是等距的

随着时间往前走

这些距离会发生变化

音高也就随之发生变化

那么人在说话的时候

可以通过控制自己的声带

来完成这些音高的变化

同时通过我们的听觉

也可以感知到这些变化

作为音频的一种基本的特征

我们依然会从时域和频域两个观点来看

时域的观点直接对应于

数字音频的存储

而频域的观点跟人的感知更加接近

这就是计算机音乐里面

信号处理的一个基本的思路

从时域的角度

所谓的音高跟踪

就是从周期信号里面去计算它的周期

或者频率

那么如果声音

在理论上是一个周期的信号

那么这个定义是非常的严谨的

但实际上

我们能够感受到音高并不是

要求这个声音必须是

严格的周期的

因此我们就需要对每个周期

出现的不同形状

进行对策

通常我们会使用分窗的形式进行统计

这样的一种做法

那么这时候窗口的大小的选择

就会非常的关键了

比如说正弦波

一个周期正好是过两次零

好

下面这一段音频是来自钢琴的

C4这个音

我们可以看到

它在一个周期里面会过四次零

这样我们只需要选择适合的窗口

统计窗口内的信号过零的次数

再根据窗口的长度

就可以计算出周期了

那我们仔细来看一下

根据过零率

计算周期以及频率的一个过程

那么我们假设过零率

用zcr来表示

那么一个窗口内

过零的总次数

我们用zc来表示

一个周期内过零的次数

用zc0来表示

t表示窗口的时长

大T表示周期

N表示窗口内包含周期的个数

那么根据这个

过零率的定义

zcr就等于zc除以t

而zc

是过零的总的次数

所以我们可以用N乘以zc0来表示

t是一个窗口的时长

因为这个窗口包含N个周期

所以窗口时长t就等于NT

这样的话呢

zcr就等于zc0除以T

这样话我们就可以通过

一个周期内过零的次数

跟周期来换算出

这个zcr

这样的话我们就可以直接把频率

f等于T分之1给计算出来

那么在数值计算的过程中

我们可以通过连续性的假设

来计算过零率

假设我们获取的信号是连续的

那么在数字化过程中

假设有两个相邻的点

它的符号是相反的

那么由于连续函数的介质定理

我们可以推断出这两点之间

一定会过一次零

比如说我们在这个信号里面

我们

可以检测两个相邻的采样点

如果他们符号是相反的

那么

比如连续性的假设他一定会穿过零一次

这样的话

我们就可以通过

两个相邻的采样点符号改变的次数

来计算过零率

那么这个计算通过python的程序

来完成的是会非常简单的

那么在python里面我们很容易可以用

numpy下面的一些模块

来计算

一个列表里面符号变化的次数

也就是能够计算出过零率

那么我们首先随便的定义一个列表

好这个列表我们看一下它一共有

一二三

三次的符号的变化

我们希望把它统计出来

所以首先我们使用

numpy下面sign符号函数来显示它的

正负号

得到这正负号之后我们还可以用

差异函数diff来显示正负号的

相邻的两个数之间的差

这样的话我们只要统计一下

这里面一共有

多少个不是零的数字

那么这样的话我们就能知道

符号变化次数

一共有多少个了

那么我们只需要用这个

np的where

那么我们去统计一下这一串数字里面

不是零的

数字是

它的下标是哪一些

这样的话我们就能统计出来说

0号2号3号

他们的下标都不是零

这样的话我们就可以

直接去看一下

这个列表

一共有多少个元素

这样的话就能知道

它的符号变化次数有多少次了

我们可以用这样的计算方式来

计算过零率

那么接下来我们就来录制一段乐器的声音

来检验过零率的

计算是否可靠

那么我们先来录制一段哨笛的A5的声音

好我们刚才录制是一段

哨笛的A5也就是880hz的声音

那我们可以

把这个声音导出

存成

whistle_A5

之后我们可以观察一下

这个波形

我们把它放大一点

那么我们可以观察出来了

每个周期它会过123456

6次零这样的一个过零次数

所以我们只需要

按照刚才的过零率以及

周期的换算公式

就可以计算出这个

声音的周期

我们到python程序里面来看一下

那么首先我们会调用

之前我们一直使用的这个分窗函数

做完分窗之后

对每一个窗口我们去

再去计算它的过零率

那么过零率的计算

首先我们要统计出它过零的次数

之后我们要看一下

这一段窗口它的长度

是多少时间

然后用ZC除以t获得过零率

最后我们读取这个音频文件

分窗

分窗完之后

我们再进行

过零率的计算

那么计算出来之后

我们可以看一下过零率的一个统计

我们可以看到

基本上

在前面一段后面一段会有些不稳定

因为它是音的开头跟结尾

之后基本上它就处于

大致是这样一个高度的数值

那么我们可以

稍微计算一下

这个zcrate

那么我们刚才说了一个周期有

六次过零

所以我们可以除以六

这样的话计算出来

大致上它的数值在882附近去震荡

那么基本上就是

哨笛A5也就是882赫兹的这个

音高

那么它基本上是在882赫兹的

上下幅度上进行震荡的

对于某些乐器从肉眼上看

每个周期的形状还是比较稳定的

但是从信号的角度

过零的次数就不那么稳定了

比如我们接下来录制的尤克里里的

A4的声音呢

就不那么稳定了

好了录下这段声音之后

我们给它放大一下来观察它的波形

那么比较稳定的音高的部分

应该是后面的这一部分

但是我们看到现在有一个这样的问题

从肉眼上看她的每个周期都是一样的

但是在零附近如果我们再进一步

放大的话

或者说看一下前面一些

音高比较大的部分

那么我们会看到这些

比较接近零的地方

有些时候他是过一次零

有些时候它是

一次零也不过

那么有些时候

它会过两次零

所以这些地方我们在估算他的

一个周期内过零的次数的时候

就会非常的

不精确

那么如果我们到python程序里面去看

它将会产生

并不是非常理想的效果

例如我们用刚才的程序

去打开尤克里里的这个

标准A的声音

那如果运行下

那么我们会看到它的过零率

非常的不稳定

前面一直在变化

那么到这个地方会稍微的

稳定一点

到这个地方会稍微稳定一点

但是有一大段都是非常的不稳定

当然这些地方我们也可以用

刚才得到的公式去计算它的

音高应该是440赫兹应该是准的

但是前面会有非常不稳定的部分

本质上人耳对于过零率

并不是特别的敏感的

主要是因为人耳

基本上是在频域的信息之下工作的

那么在频域当中人耳特别对

整数倍分布的峰值非常的敏感

在整数倍峰值的分布的前提之下

其实我们也可以

在频率的角度

把音高定义成第一个峰值所在的

频率的大小

那么这个频率我们通常也叫做基频

也就是F0

但是其实

这里面依然会有一些问题

一个在肉眼看起来非常明显的峰值

那么我们通常都会用自己的经验来判断

但是如果要让计算机去

判断哪一个点是峰值

就需要经过一些严格的规则了

除此之外

如果一个声音是和旋

那么这个峰值就不是整数倍的关系了

这时候怎么去定义根音又是一个问题

接下来我们会分别介绍在时域和频域当中

比较经典的音高跟踪算法

最后我们会以K歌评分中的音高跟踪算法

作为一个具体的应用来展示

音高跟踪在当今的计算机音乐里面的应用

非常广泛

那么包括哼唱搜索普通话

语调识别

英语的音调评分

语音合成中的韵律分析

变调与变速等等的应用

都需要以音高跟踪作为基础

那让我们来期待一下今天的内容