10.1 计算机听觉在线视频

各位同学大家好

欢迎来到课程新的一章

在这一章中

我们主要针对计算机的数字音频技术进行学习

首先

我们来看看计算机听觉的定义

近年来

随着半导体技术

互联网

音频压缩技术

录音设备的共同发展

使得数字格式的各种声音急剧增加

在人类听觉机制的启发之下

诞生了一个新兴的学科

计算机听觉

也可以称之为机器听觉

计算机听觉是一个面向数字音频与音乐

研究用计算机软件来分析和理解

海量数字音频内容的算法与系统科学

通俗讲

计算机听觉的目的是让计算机或者机器

能够具备人类的听觉感知能力

为了模拟人类能够通过声音特性产生主观感受的能力

计算机听觉要实现的核心功能主要是如下三条

1、 声音检测

也称之为音频事件检测

2、 声目标识别

3、 声源定位

下图展示了计算机听觉的基本框架

计算机听觉（CA）和计算机视觉（CV）很相似

是通过人工智能算法实现

计算机能够像人一样得到音频中信息的学科

是用来进行语音信号处理以及识别的

接下来

我们看看计算机听觉的应用范畴有哪些

主要有音乐人工智能

计算机听觉

及音乐科技

声音是人类获取信息的重要来源

可以分划为语音

音乐和一般的音频/环境声三大类

除了人类创造的语音和音乐

在自然界和日常生活中

还存在着其他的一些巨大数量

种类繁多的声音

例如

自然界的风声、雷声、海浪声

机械设备声

动物的叫声

人体的心跳、咳嗽

军事的枪声、炮声、爆炸声等等

不可尽数

音乐与科技的融合具有悠久的历史

早在20世纪50年代

一些作曲家、工程师和科学家

已经开始探索利用新的数字技术来处理音乐

并逐渐形成了音乐科技/计算机音乐这一交叉学科

2019年

中央音乐学院建立了音乐人工智能与音乐信息科技系

开始招收博士、硕士研究生

音乐科技是音乐与科学技术的交叉学科

包含众多的研究和应用领域

在音乐方面

包括了计算音乐学

电子音乐创作与制作

计算机辅助的音乐教育

计算机辅助的音乐表演

录音混音

音效及声音设计等等

声音与音乐计算是一个庞大的研究领域

可细化为多个学科分支

第一个学科音乐生成

包含歌声合成

自动作曲

自动编曲等主要方向

需要较多的音乐知识

技术实现比较复杂

因此

近年来大量使用机器学习/深度学习的技术

也可以统称为人工智能音乐

AI Music

使用计算方法对数字化声音与音乐的内容进行一些理解和分析

声音与音乐信号处理

音乐科技具有众多的应用

例如

电声乐器

数字音源

音频工作站

计算机辅助的音乐教育

计算音乐学

音乐表演的量化分析

电子音乐创作与制作

音乐信息检索MIR

数字音乐图书馆

交互式多媒体

音频接口

辅助医学治疗

音乐机器人

音频数字水印等等

在近年来

随着人工智能概念的火热上升成为了国家战略

在音乐领域出现了音乐人工智能（Music AI）这一名词

音乐人工智能是一个通俗的略显模糊的概念

主要指以数字音乐为研究对象

以AI为主要技术手段的计算机软硬件系统研发

可以看成是人工智能在音乐领域的垂直应用

音乐人工智能属于音乐科技的一部分

包括音乐生成

音乐信息检索MIR（含数十项应用）

以及所有的其它涉及AI的音乐相关的技术

音乐信息检索MIR是一个使用计算方法

对数字音乐的内容进行理解和分析的交叉学科

它是音乐人工智能中体量最大的一个研究领域

基于内容的音乐信息检索MIR有很多应用

在娱乐相关领域

典型应用包含听歌识曲

哼唱/歌唱检索

翻唱检索

曲风分类

音乐情感计算

音乐推荐

彩铃制作

卡拉OK应用

伴奏生成

自动配乐

音乐内容标注

歌手识别

模仿秀评价

歌唱评价

歌声合成及转换

智能作曲

数字乐器

音频/音乐编辑制作等等

在音乐教育及科研领域

典型应用包括计算音乐学

视唱练耳及乐理辅助教学

声乐及各种乐器辅助教学

数字音频/音乐图书馆等

在日常生活

心理及医疗

知识产权等其他领域

还包括乐器音质的评价及辅助购买

音乐理疗及辅助医疗

音乐版权保护及盗版追踪等等应用

此外

电影及很多视频中

音频及音乐都可以用来辅助视觉内容进行分析

以上应用均可以在电脑

智能手机

音乐机器人等各种平台上得以实现

基于一般音频的计算机听觉直接面向国民经济的各个领域

具有众多应用

例如

在医疗卫生领域

涉及呼吸系统的疾病

咳嗽、打呼、言语、喘息、呼吸等等

心脏系统疾病

以及其它相关的医疗

嗓音疾病、胎音和胎动、药剂吞服、血液流动、肌音

在安防领域

涉及公共场所监控和私密场所监控

在交通运输、仓储领域

涉及到了铁路运输业

道路运输业

涉及农业

林业

畜牧业等等

最后我们来总结以及展望一下

音乐科技

音乐人工智能与计算机听觉以数字音乐和声音为研究对象

是声学

心理学

信号处理

人工智能

多媒体

音乐学及各行业领域知识相结合的重要交叉学科

具有重要的学术研究和产业开发价值

目前仍有大量几乎空白或没有得到充分研究的子领域

好了

这节课到这结束了

谢谢大家

再见