AI探视人类情感原理与实践——人工驱的音乐信息检索

音乐是人类精神文明的重要产物，是人类灵魂的安慰剂。在中华民族五千年的文明中，礼乐文明是重要的组成部分，其中“乐”就是指音乐。古代先贤十分重视音乐在社会文明发展、社会秩序维护方面的重要作用，认为音乐可以帮助维护社会和谐，即所谓“乐至则无怨，礼至则不争”的社会发展理想境界。孔子开经授课，讲授《诗》《书》《礼》《乐》，这些著作构筑了儒家博大精深的政治理论体系，孔子也曾在齐国闻《韶》乐而三月不知肉味，可见音乐对社会和个人精神文明的深远影响。

随着网络和大规模数字音乐产业的发展，音乐的获取和收听以更加便捷的方式呈现在用户面前，如何从海量的互联网数字音乐数据中，找到用户喜闻乐见的音乐，成为音乐信息检索领域要解决的关键问题和主要目标。常见的音乐检索都是以文本检索为主要手段，需要大量的人工标注，大大阻碍了音乐作品的检索和传播，成为数字音乐产业发展的瓶颈问题。

音乐是人类思维的产物，以物理波形为载体，传递着人们对生活的理解和主观感受。情感是音乐先天的属性，音乐是能够表达人类思想和传播文化的途径。人工智能发展到今天也不同程度地遇到了“语义瓶颈”，如何让机器理解和表达人类情感，成为人工智能技术无法跨越的鸿沟。

为了探索机器理解语义的方法，本书从音乐这一情感载体入手，详细论述了从基于音乐内容到音乐语义的信息检索模式，从而为机器理解人类情感打开一扇有趣的窗口。本书的研究思路、研究方法及其发展历程，在文本、图像和视频领域有相通之处，本书也能使读者进一步理解多媒体信号语义提取方法和应用。

本书融合了作者十余年来在该领域学习研究的经验，对相关算法和方法的IV AI探视人类情感原理与实践——人工智能驱动的音乐信息检索论述深入浅出，使得读者能够理论联系实际，更快地从事该领域的工作。

作为计算机领域的专业书籍、科普读物，本书总结、回顾了计算机领域对音乐检索做出的研究工作，为计算机科普人员、青少年读者、模式识别和人工智能领域研究人员、语音处理和互联网多媒体技术研究人员、IT从业者、数字音乐产业服务人员、音乐服务提供商进一步学习和从事音乐信息检索方向的工作，提供坚实的理论和实践案例。

感谢北京师范大学周明全教授、西北大学耿国华教授、大连理工大学林鸿飞教授提供的指导，感谢安雯、孙法莉、马雪倩、高福杰、王伟滨、蒋卓同学的帮助。

衷心感谢清华大学出版社的大力支持和协助，使本书能够顺利出版。

由于作者的水平有限，书中难免有不足和疏漏之处，恳请各位读者提出批评和建议，以便进一步修订和改进。

秦静

音乐信息检索是从海量音频信号、音乐的符号表示或网页资源上提取并分析出音乐有意义的特征，用此特征为音乐建立索引，然后设计不同的查询和检索机制，以获得人们想要查询的音乐作品的过程。随着数字音乐的发展，音乐信息检索融合了计算机机器学习、模式识别和人工智能技术，是人工智能应用的典型领域之一。同时，作为计算机技术探寻人类情感等语义的重要领域，吸引了众多学者和业界的广泛关注。 本书论述了以旋律作为主要特征检索音乐的模型及其实现方法，建立基于流形排序的整首音乐内容检索模型，并介绍了相关反馈方法对检索结果的改进技术。另外，解读了基于示例语义的检索模型，论述了如何克服音乐检索“语义鸿沟”问题，将音乐映射到一个语义空间的方法。后，讲解人工智能技术在音乐检索方向上的发展趋势和全新应用。 本书读者主要是艺术、计算机应用领域的艺术家、研究人员、计算机应用开发人员、数字媒体设计人员、数字音乐产业从业人员及教育工作者。另外，本书对于语音识别、模式识别等领域的从业者也有很高的参考价值。

音乐信息检索是从海量音频信号、音乐的符号表示或网页资源上提取并分析出音乐有意义的特征，用此特征为音乐建立索引，然后设计不同的查询和检索机制，以获得人们想要查询的音乐作品的过程。随着数字音乐的发展，音乐信息检索融合了计算机机器学习、模式识别和人工智能技术，是人工智能应用的典型领域之一。同时，作为计算机技术探寻人类情感等语义的重要领域，吸引了众多学者和业界的广泛关注。 本书论述了以旋律作为主要特征检索音乐的模型及其实现方法，建立基于流形排序的整首音乐内容检索模型，并介绍了相关反馈方法对检索结果的改进技术。另外，解读了基于示例语义的检索模型，论述了如何克服音乐检索“语义鸿沟”问题，将音乐映射到一个语义空间的方法。后，讲解人工智能技术在音乐检索方向上的发展趋势和全新应用。 本书读者主要是艺术、计算机应用领域的艺术家、研究人员、计算机应用开发人员、数字媒体设计人员、数字音乐产业从业人员及教育工作者。另外，本书对于语音识别、模式识别等领域的从业者也有很高的参考价值。

秦静，女，博士，大连大学软件工程学院副教授，辽宁省智慧医疗协同创新中心、大连市智慧健康与医疗重点实验室成员。主要研究方向为模式识别与信息检索。先后主持国家自然科学基金青年基金一项项、辽宁省重点研发计划一项。十余年来一直从事音乐检索领域的研究，先后发表数篇音乐信息检索领域论文，其中多篇被《科学引文索引》（SCI）或《工程索引》（EI）检索，积累了音乐信息检索丰富的理论及应用经验。

第1章　音乐信息检索的产生与发展 // 001

1.1 音乐信息检索历史与发展 //003

1.2 音乐信息检索建模与表达 //005

1.3 音乐信息检索相关研究 //006

1.4 国内外研究进展 //010

1.4.1 音乐检索 // 010

1.4.2 音乐推荐 // 014

1.4.3 音乐播放列表生成 // 015

1.4.4 音乐浏览界面 // 016

1.4.5 其他检索应用 // 019

1.5 研究思路 //021

1.5.1 框架 // 021

1.5.2 研发思路 // 022

第2章　音乐计算理论 // 023

2.1 音乐特征提取 //025

2.1.1 时域和频域特征 // 025

2.1.2 低层特征和音色 // 028

2.1.3 音高特征 // 030

2.1.4 旋律、和弦和音调 // 035

2.2 音乐相似度 //038

2.2.1 自相似性分析与音乐结构 // 038

2.2.2 全局相似度 // 038

2.2.3 基于向量空间模型的音乐相似度 // 039

2.2.4 基于共现分析的音乐相似度 // 041

2.3 本章小结 //045

第3章　基于旋律的哼唱音乐检索模型 // 047

3.1 哼唱旋律的表示模型及其匹配技术框架 //048

3.2 基于遗传算法的旋律轮廓对齐算法 //050

3.2.1 染色体编码设计 // 052

3.2.2 适应度函数定义 // 053

3.2.3 算法描述 // 053

3.2.4 加权综合旋律模板匹配算法 // 054

3.3 旋律模板的局部敏感哈希 //055

3.3.1 音乐文件的模板生成 // 056

3.3.2 局部哈希算法 // 057

3.3.3 面向欧氏距离的LSH函数族 // 058

3.3.4 基于局部哈希算法的哼唱检索 // 059

3.4 实验结果与分析 //060

3.4.1 遗传算法实验结果及其分析 // 061

3.4.2 哼唱检索系统检索结果及其分析 // 064

3.5 本章小结 //066

第4章　基于示例内容的音乐检索模型 // 067

4.1 基于流形排序的音乐检索技术框架 //068

4.2 流形排序 //069

4.3 音频流形排序算法设计 //071

4.3.1 特征选择 // 071

4.3.2 流形排序算法设计 // 072

4.3.3 相关反馈算法设计 // 074

4.4 实验结果与分析 //077

4.5 本章小结 //081

第5章　基于示例语义的音乐检索模型 // 083

5.1 基于示例语义的音乐检索 //084

5.2 基于示例语义的音乐检索系统框架 //086

5.3 基于深度学习算法的模型设计 //087

5.3.1 问题描述 // 087

5.3.2 模型设计 // 091

5.3.3 算法描述 // 094

5.4 模型改进 //096

5.4.1 损失函数调整 // 097

5.4.2 SMOTE算法 // 098

5.4.3 基于ELM的语义向量生成 // 100

5.5 实验结果与分析 //101

5.5.1 数据集与语义特征提取 // 101

5.5.2 标注性能评价 // 102

5.5.3 检索性能评价 // 103

5.5.4 实验结果分析 // 103

5.6 本章小结 //111

第6章　基于示例语义的音乐检索与交互技术应用 // 113

6.1 音乐检索交互系统 //114

6.2 基于语义的音乐检索交互系统框架 //116

6.3 基于语义的音乐检索交互系统设计 //117

6.3.1 基于语义的音乐检索算法实现 // 117

6.3.2 基于交互信息的音乐推荐算法实现 // 118

6.3.3 用户语义配置文件的生成 // 119

6.4 系统实现 //120

6.4.1 检索数据集的建立 // 120

6.4.2 检索交互系统实现 // 122

6.5 本章小结 //125

第7章　人工智能在音乐检索技术中的应用 // 127

7.1 音乐语义提取及应用 //128

7.1.1 音乐语义标注的深度神经网络模型 // 128

7.1.2 可解释模型音乐语义模型 // 133

7.2 跨模态音乐检索 //133

7.2.1 音乐-视频跨模态检索 // 133

7.2.2 音乐-歌词跨模态检索 // 134

7.3 智能音乐交互及发现工具 //136

7.3.1 基于LibROSA的音乐信息检索系统评估工具 // 136

7.3.2 基于语义图表的音乐元数据复杂性建模 // 139

7.3.3 MusicWeb：具有开放链接语义元数据的音乐发现  // 139

7.3.4 基于肢体动作相似度的舞蹈音乐检索系统 // 141

7.3.5 语义音乐播放器 // 143

7.4 本章小结 //143

参考文献 // 145

音乐信息检索是从海量音频信号、音乐的符号表示或网页资源上提取并分析出音乐有意义的特征，用此特征为音乐建立索引，然后设计不同的查询和检索机制，以获得人们想要查询的音乐作品的过程。随着数字音乐的发展，音乐信息检索融合了计算机机器学习、模式识别和人工智能技术，是人工智能应用的典型领域之一。同时，作为计算机技术探寻人类情感等语义的重要领域，吸引了众多学者和业界的广泛关注。 本书论述了以旋律作为主要特征检索音乐的模型及其实现方法，建立基于流形排序的整首音乐内容检索模型，并介绍了相关反馈方法对检索结果的改进技术。另外，解读了基于示例语义的检索模型，论述了如何克服音乐检索“语义鸿沟”问题，将音乐映射到一个语义空间的方法。后，讲解人工智能技术在音乐检索方向上的发展趋势和全新应用。 本书读者主要是艺术、计算机应用领域的艺术家、研究人员、计算机应用开发人员、数字媒体设计人员、数字音乐产业从业人员及教育工作者。另外，本书对于语音识别、模式识别等领域的从业者也有很高的参考价值。

秦静，女，博士，大连大学软件工程学院副教授，辽宁省智慧医疗协同创新中心、大连市智慧健康与医疗重点实验室成员。主要研究方向为模式识别与信息检索。先后主持国家自然科学基金青年基金一项项、辽宁省重点研发计划一项。十余年来一直从事音乐检索领域的研究，先后发表数篇音乐信息检索领域论文，其中多篇被《科学引文索引》（SCI）或《工程索引》（EI）检索，积累了音乐信息检索丰富的理论及应用经验。