当前课程知识点:计算机音乐 >  第七章 音频同步 >  7.1 音频同步概述 >  音频同步概述

返回《计算机音乐》慕课在线视频课程列表

音频同步概述在线视频

下一节:音乐特征提取CQT

返回《计算机音乐》慕课在线视频列表

音频同步概述课程教案、知识点、字幕

同学们大家好

欢迎回到计算机音乐的课堂

今天我们将会来介绍

计算机音乐的另外的一个应用方向

就是音频同步

首先让我们来看一下音频同步的主要任务

人在演奏音乐的过程中

通常需要使用乐谱

不管是一边演奏一边看谱子

还是把谱子背下来演奏

这时候音乐跟谱子基本上是

成一种同步的关系的

那么我们汉语里面说的靠谱 靠谱

就是你在演奏音乐的过程中

音乐跟谱子在时间轴上是处于同步的

比如说我们来看这样的一段乐谱

那么它播放之后的结果

是我们主要任务就是在乐谱跟数字音频当中

找到时间的对应关系

乐谱跟音频的语义是并不相同的

所以要让计算机拥有读乐谱听音乐的智能

并且能够将它们联系起来

这本身是一件非常不容易的事情

但是如果我们把任务

仅限于乐谱与音频的时间对起来

还是有一些朴素的想法

例如如果我们把乐谱看成是

音高在时间轴上的排列

同时我们在数字音频里面

在时间轴上面的每一个点去提取出的音高

这样的话

乐谱跟音频就可以通过

音高来实现一个对应关系

音频同步的处理对象

除了乐谱与音频的对应关系之外

还可能是音频与音频的对应关系

让我们来看另一类问题

例如我们现在看到的

谱子是贝多芬第五交响曲的一个开头

如果我们把它当做midi音频来进行播放

他会精确地按照谱子的音符的长短的要求来进行演奏

我们来听一下

但在实际的演奏过程中

指挥家对整体的速度

以及每个音符的长短

是会做自己的一些即兴的处理的

甚至有一些音符作曲家会在

上面写上一个自由延长的记号

作曲家

会明文的要求指挥要做一些自由的处理

我们可以来听一下

每个作曲家的演绎方式是不一样的

例如我们先听一下伯恩斯坦的版本

我们再听一下卡拉扬的版本

这两个版本一个快一点

一个慢一点

而且每个指挥对于

这两个自由延长音符的比例也是

控制的不一样的

接下来还有一个钢琴版本

高德的钢琴版本我们来听一下

在这个版本里面

高德它使用的是钢琴这样一件乐器

因此它的时长

是根据钢琴的一些特征来控制的

他跟钢琴本身正乐器是有关的

这几个版本

都跟我们刚才听到的midi的版本

严格的按照谱子的音符的长短

来演奏是不一样的

这是midi的版本

因此我们的主要任务就是让计算机

在不同的版本的音频当中

去找到时间上的对应关系

如果用计算机的语言来描述

音频与音频的同步问题

他的输入就是两段音频

当然我们需要假设他们演奏的是同一段乐谱

输出则是这两段音频的时间的对应关系

也就是我们需要对一段音频中的一个时间点

然后我们要求出它在另一段音频当中的

对应的时间点

例如刚才我们听到贝五的第一句

我们有卡拉扬的版本

有高德版本

它们整体的时间长度是不一样的

细节上的长度也不成比例

如果我们把这两段音乐作为输入

我们的任务就是要在这两段音乐之间

找到时间轴上的一个对应关系

那么对于一般的音频同步问题而言

实际上跟前面两个问题的整体流程是类似的

首先我们需要在不同的音乐形式当中

例如乐谱音频等等

去提取出公共的特征表达

然后将这两段特征作为输入

在使用一定的匹配算法来求出它们的对应关系

那么在接下来小节当中

我们将会按照音频同步的一般流程

先介绍在音乐当中常见的一些音频特征

之后我们会介绍一种简单而有效的

特征匹配算法

也就是动态时间规划

并且将这种算法用于音乐的节奏校准

以上就是我们在这章中的主要内容

让我们来期待一下

计算机音乐课程列表:

欢迎辞

-欢迎辞

第一章 基本概念

-1.1 计算机音乐导言

--计算机音乐导言

-1.2 计算机音乐课程主要内容

--计算机课程主要内容

-1.3计算机音乐课程资源

--计算机音乐课程资源

-1.4 音乐的基本表达

--音乐的基本表达

-第一章作业

第二章 时域音频处理

-2.1时域音频处理概述

--时域音频处理概述

-2.2 分窗处理1:OLA叠放

--分窗处理1: OLA叠放

-2.3 分窗处理2:音量计算

--分窗处理2 音量计算

-2.4 端点检测

--端点检测

-2.5 振幅包络

--振幅包络

-2.6 音频信号相乘

--音频信号相乘

-2.7 环形调制

--环形调制

-2.8 频率调制

--频率调制

-2.9 频率调制在音乐上的应用

--频率调制在音乐上的应用

-第二章作业

第三章 频域音频处理

-3.1 频谱概述

--频谱概述

-3.2 傅里叶变换

--傅里叶变换

-3.3 短时傅里叶变换

--短时傅里叶变换

-3.4 加法合成

--加法合成

-3.5 线性滤波器

--线性滤波器

-3.6 京剧锣鼓经分析

--京剧锣鼓经分析

-第三章作业

第四章 音色合成

-4.1 音色合成概述

--音色合成概述

-4.2 质点弹簧阻尼模型

--质点弹簧阻尼模型

-4.3 双线性滤波器

--双线性滤波器

-4.4 Modal合成

--Modal合成

-第四章测试

第五章 一维振动模型

-5.1 一维振动模型概述

--一维振动模型概述

-5.2 弦振动模型

--弦振动模型

-5.3 达朗贝尔的行波解

--达朗贝尔的行波解

-5.4 梳状滤波器

--梳状滤波器

-5.5 Karplus Strong算法

--Karplus Strong算法

-5.6 管状气鸣乐器模型

--管状气鸣乐器模型

-第五章作业

第六章 高音跟踪

-6.1 音高跟踪概述

--音高跟踪

-6.2 时域音高跟踪

--时域音高跟踪

-6.3 频域音高跟踪

--频域音高跟踪

-6.4 K歌评分

--K歌评分

-第六章作业

第七章 音频同步

-7.1 音频同步概述

--音频同步概述

-7.2 音乐特征提取 CQT

--音乐特征提取CQT

-7.3 音乐特征提取 Chroma

--音乐特征提取Chroma

-7.4 动态时间规划概述

--动态时间规划概述

-7.5 动态时间规划实现

--动态时间规划实现

-第七章作业

音频同步概述笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。