音频同步概述在线视频

同学们大家好

欢迎回到计算机音乐的课堂

今天我们将会来介绍

计算机音乐的另外的一个应用方向

就是音频同步

首先让我们来看一下音频同步的主要任务

人在演奏音乐的过程中

通常需要使用乐谱

不管是一边演奏一边看谱子

还是把谱子背下来演奏

这时候音乐跟谱子基本上是

成一种同步的关系的

那么我们汉语里面说的靠谱 靠谱

就是你在演奏音乐的过程中

音乐跟谱子在时间轴上是处于同步的

比如说我们来看这样的一段乐谱

那么它播放之后的结果

是我们主要任务就是在乐谱跟数字音频当中

找到时间的对应关系

乐谱跟音频的语义是并不相同的

所以要让计算机拥有读乐谱听音乐的智能

并且能够将它们联系起来

这本身是一件非常不容易的事情

但是如果我们把任务

仅限于乐谱与音频的时间对起来

还是有一些朴素的想法

例如如果我们把乐谱看成是

音高在时间轴上的排列

同时我们在数字音频里面

在时间轴上面的每一个点去提取出的音高

这样的话

乐谱跟音频就可以通过

音高来实现一个对应关系

音频同步的处理对象

除了乐谱与音频的对应关系之外

还可能是音频与音频的对应关系

让我们来看另一类问题

例如我们现在看到的

谱子是贝多芬第五交响曲的一个开头

如果我们把它当做midi音频来进行播放

他会精确地按照谱子的音符的长短的要求来进行演奏

我们来听一下

但在实际的演奏过程中

指挥家对整体的速度

以及每个音符的长短

是会做自己的一些即兴的处理的

甚至有一些音符作曲家会在

上面写上一个自由延长的记号

作曲家

会明文的要求指挥要做一些自由的处理

我们可以来听一下

每个作曲家的演绎方式是不一样的

例如我们先听一下伯恩斯坦的版本

我们再听一下卡拉扬的版本

这两个版本一个快一点

一个慢一点

而且每个指挥对于

这两个自由延长音符的比例也是

控制的不一样的

接下来还有一个钢琴版本

高德的钢琴版本我们来听一下

在这个版本里面

高德它使用的是钢琴这样一件乐器

因此它的时长

是根据钢琴的一些特征来控制的

他跟钢琴本身正乐器是有关的

这几个版本

都跟我们刚才听到的midi的版本

严格的按照谱子的音符的长短

来演奏是不一样的

这是midi的版本

因此我们的主要任务就是让计算机

在不同的版本的音频当中

去找到时间上的对应关系

如果用计算机的语言来描述

音频与音频的同步问题

他的输入就是两段音频

当然我们需要假设他们演奏的是同一段乐谱

输出则是这两段音频的时间的对应关系

也就是我们需要对一段音频中的一个时间点

然后我们要求出它在另一段音频当中的

对应的时间点

例如刚才我们听到贝五的第一句

我们有卡拉扬的版本

有高德版本

它们整体的时间长度是不一样的

细节上的长度也不成比例

如果我们把这两段音乐作为输入

我们的任务就是要在这两段音乐之间

找到时间轴上的一个对应关系

那么对于一般的音频同步问题而言

实际上跟前面两个问题的整体流程是类似的

首先我们需要在不同的音乐形式当中

例如乐谱音频等等

去提取出公共的特征表达

然后将这两段特征作为输入

在使用一定的匹配算法来求出它们的对应关系

那么在接下来小节当中

我们将会按照音频同步的一般流程

先介绍在音乐当中常见的一些音频特征

之后我们会介绍一种简单而有效的

特征匹配算法

也就是动态时间规划

并且将这种算法用于音乐的节奏校准

以上就是我们在这章中的主要内容

让我们来期待一下