语音情感识别

图书标准信息

• 作者 张雪英
• 出版社 科学出版社
• 出版时间 2021-11
• 版次 1
• ISBN 9787030676832
• 定价 166.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 283页
• 字数 436千字

【内容简介】

本书系统地阐述了语音情感识别的理论、方法和研究成果，主要由两部分构成：部分包括第1章到第9章，这九章的内容涵盖语音情感识别的基础知识、基本流程、特征提取以及识别网络，是对语音情感识别深入研究中不可或缺的知识；第二部分包括第10章和第11章，这两章的内容是在语音情感识别研究基础上的进一步深入，将脑电信号引入到情感识别研究中，以情感脑电辅助语音情感识别，是脑认知过程与传统信号处理手段的有效结合，为今后情感识别研究提供了新思路和新方法。
  本书可作为人工智能、计算机、电子信息等专业的教师、研究生和技术开发人员学习语音情感识别知识的参考书。
  　

【目录】

第1章  语音情感识别基本知识    1

1.1  语音情感识别的研究背景和意义    1

1.2  语音情感识别关键技术    1

1.2.1  情感语音数据库    1

1.2.2  语音情感特征    2

1.2.3  语音情感识别模型    3

1.3  基于脑认知的语音情感识别研究    5

小结    5

参考文献    5

第2章  情感的划分    7

2.1  离散情感划分    7

2.2  情感维度空间模型    8

2.3  基于离散情感的维度空间模型    11

2.4  其他情感模型    12

小结    13

参考文献    13

第3章  情感语音数据库    15

3.1  情感语音数据库建立的基本原则    15

3.2  TYUT1.0情感语音数据库的建立    17

3.2.1  语音的采集    17

3.2.2  语句的有效性分析    18

3.3  TYUT2.0情感语音数据库的建立    20

3.3.1  截取情感语音素材    20

3.3.2  语句的有效性评价    20

3.4  基于PAD情绪模型的情感语音数据库优化及标注    24

3.4.1  TYUT2.0 情感语音数据库的优化实验    24

3.4.2  三维PAD情感模型量化标注实验    26

3.5  常用情感语音数据库    33

3.5.1  柏林情感语音数据库    33

3.5.2  VAM数据库    34

3.5.3  SEMAINE数据库    34

3.5.4  IEMOCAP数据库    34

3.5.5  AVEC 2012数据库    35

3.5.6  MERC数据库    35

小结    35

参考文献    36

第4章  语音情感特征分析与研究    37

4.1  传统语音情感特征    37

4.1.1  韵律特征    37

4.1.2  音质特征    39

4.1.3  MFCC特征    39

4.1.4  LPCC特征    40

4.2  基于人耳听觉模型的谱能量特征    40

4.2.1  基本的谱能量特征介绍    40

4.2.2  人耳听觉特性    42

4.2.3  基于Bark尺度频带划分的谱能量特征    44

4.2.4  基于ERB尺度频带划分的谱能量特征    47

4.3  基于人耳听觉特性的谱能量特征的优化改进    49

4.3.1  声道响应对谱能量特征的补偿算法    49

4.3.2  基于TEO的谱能量特征    51

4.3.3  多种特征的情感识别率对比    52

4.4  基于HHT情感语音特征提取    57

4.4.1  HHT基本理论    57

4.4.2  集合经验模态分解方法EEMD    61

4.4.3  基于EEMD的IMFE特征提取    65

4.4.4  EEMD­Teager能量谱特征提取    68

4.4.5  HHT边际谱特征提取    69

小结    72

参考文献    72

第5章  基于人耳听觉的情感特征及在语音情感识别中的应用    74

5.1  ZCPA特征    74

5.2  帧优化算法对ZCPA特征的改进    77

5.2.1  帧优化算法基本理论    77

5.2.2  实验步骤    79

5.2.3  实验结果及分析    79

5.3  基于人耳听觉特性的过零峰值Teager能量算子（ZCMT）特征    80

5.3.1  ZCMT特征原理及提取步骤    80

5.3.2  实验结果及分析    81

5.4  声门补偿的ZCMT特征    83

5.4.1  语音产生的非线性模型    83

5.4.2  典型的声门特征及基音周期的提取    84

5.4.3  声门特征对于人耳听觉模型特征的影响    86

5.4.4  人耳听觉补偿算法    87

5.4.5  声门特征补偿的人耳听觉模型特征在语音情感识别中的应用    88

5.4.6  实验结果及分析    89

小结    90

参考文献    90

第6章  情感语音非线性特征分析研究    92

6.1  语音的非线性特性    92

6.2  情感语音信号的非线性特性    93

6.2.1  功率谱分析    93

6.2.2  主分量分析    94

6.2.3  相空间重构    95

6.3  非线性属性特征分析研究    99

6.3.1  关联维数    99

6.3.2  Kolmogorov熵    100

6.3.3  Lyapunov指数    101

6.3.4  Hurst指数    102

6.3.5  基于非线性属性特征的语音情感识别实验    103

6.4  基于相空间重构的非线性几何特征    108

6.4.1  非线性几何特征参数提取    108

6.4.2  基于五种描述符轮廓的语音情感识别实验    110

6.4.3  基于非线性几何特征的语音情感识别实验    113

6.5  基于特征级融合的情感语音特征参数优化    115

6.5.1  特征级融合在语音情感识别中的应用    115

6.5.2  基于特征级融合的语音情感识别实验    116

6.6  基于特征选择的情感语音特征参数优化    118

6.6.1  特征选择在语音情感识别中的应用    118

6.6.2  基于特征选择的语音情感识别实验    119

6.7  基于特征优化的情感语音特征参数优化    120

6.7.1  特征分析    120

6.7.2  特征优化算法    122

6.7.3  基于非线性全局特征的特征优化预实验    123

6.7.4  基于特征全集的特征优化语音情感识别实验    123

小结    124

参考文献    124

第7章  语音情感识别建模    126

7.1  基于CHMM语音情感识别系统的建立与实现    126

7.1.1  HMM建模的语音情感识别系统    126

7.1.2  CHMM语音情感识别系统的设计与实现    127

7.1.3  实验结果与分析    131

7.2  基于极限学习机的情感识别模型    133

7.2.1  核函数ELM基本理论    133

7.2.2  基于核函数ELM的情感识别    137

7.2.3  Im­ABC优化KELM识别网络    140

7.2.4  选择性集成极限学习机的研究    147

7.3  基于FCM的语音情感识别    152

7.3.1  FCM基本理论概述    152

7.3.2  FCM语音情感识别网络的架构    153

7.3.3  e­FCM语音情感识别网络的实现    155

7.3.4  实验及结果分析    157

小结    166

参考文献    167

第8章  融合算法应用于语音情感识别的研究    168

8.1  数据融合    168

8.1.1  数据融合的概念    168

8.1.2  特征级融合    169

8.1.3  决策级融合    170

8.2  决策融合e­FCM算法介绍    170

8.2.1  概率矩阵    170

8.2.2  决策方法制定    171

8.3  实验结果与分析    173

8.3.1  语音特征的选择    173

8.3.2  决策融合e­FCM实验    173

小结    177

参考文献    177

第9章  连续维度语音情感识别研究    178

9.1  情感语音特征与PAD三维相关性分析    178

9.1.1  原理介绍    178

9.1.2  Pearson相关介绍    179

9.1.3  结果分析    179

9.2  犹豫模糊集决策融合预测PAD值    180

9.2.1  犹豫模糊信息    180

9.2.2  加权融合预测PAD值    182

9.3  仿真实验及结果分析    183

9.3.1  PAD数据的概率特性验证    183

9.3.2  情感PAD数据空间分布    184

9.4  基于特征选择改进模型的PAD情感维度预测    185

9.4.1  基于GRA­PCA特征选择的PAD维度预测    186

9.4.2  基于聚类PSO­LSSVM模型的PAD维度预测    196

9.4.3  PAD维度预测的综合模型研究    203

小结    208

参考文献    208

第10章  情感语音诱发的脑电信号分析研究    211

10.1  脑电信号    211

10.1.1  脑电信号的概念    211

10.1.2  脑电信号的电极导联    212

10.1.3  事件相关电位    214

10.1.4  情感语音诱发的事件相关电位    215

10.1.5  基于诱发脑电信号的认知心理学分析方法    216

10.2  情感语音诱发的脑电信号采集与处理    219

10.2.1  实验设计    220

10.2.2  实验准备    221

10.2.3  实验材料的筛选与预处理    222

10.2.4  实验任务和实验程序    224

10.2.5  ERP的记录与预处理    225

10.2.6  数据分析    226

10.3  基于情感语音持续时长影响的ERP研究    226

10.3.1  实验方法    227

10.3.2  实验结果及分析    229

10.3.3  实验结论    234

10.4  基于情感语音基频影响的ERP研究    235

10.4.1  实验方法    235

10.4.2  实验结果及分析    237

10.4.3  实验结论    241

10.5  言语的可理解性及非言语情感诱发的ERP研究    242

10.5.1  实验方法    242

10.5.2  实验结果及分析    244

10.5.3  实验结论    249

小结    249

参考文献    250

第11章  脑电辅助语音信号的情感识别研究    254

11.1  脑电信号与语音信号的常用信号处理方法    254

11.2  结合非线性全局特征和谱特征的情感脑电信号分析    256

11.2.1  情感语音脑电信号非线性全局特征提取    256

11.2.2  结合非线性全局特征和谱特征的情感脑电识别实验    258

11.3  基于压缩感知的情感识别模型    261

11.3.1  压缩感知基本理论    261

11.3.2  CS识别模型的构建    263

11.3.3  CS中不同重构算法性能对比实验    267

11.3.4  CS情感识别的过程    268

11.4  基于CS的脑电辅助语音信号的情感识别    269

11.4.1  语音信号的情感识别    270

11.4.2  脑电信号的情感识别    274

11.4.3  基于特征的CCA融合    277

小结    282

参考文献    282