PyTorch语音识别实战

图书标准信息

• 作者 王晓华
• 出版社 清华大学出版社
• 出版时间 2021
• 版次 1
• ISBN 9787302655657
• 定价 69.00元
• 装帧 平装
• 开本 16开
• 页数 264页
• 字数 466千字

【内容简介】

pytorch语音识别实战使用pytorch 2.0作为语音识别的基本框架，循序渐进地引导读者从搭建环境开始，逐步深入到语音识别基本理论、算法以及应用实践，是较好的一本语音识别技术图书。本书配套示例源码、数据集、ppt课件等资源。
pytorch语音识别实战分为13章，内容包括语音识别之路、pytorch 2.0深度学环境搭建、音频信号处理的理论与python实战、音频处理常用工具包libroa详解与实战、基于dnn的语音情绪分类识别、一学会的深度学基础算法、基于pytorch卷积层的语音情绪分类识别、词映与循环神经网络、基于whiper的语音转换实战、注意力机制与注意力模型详解、鸟叫的多标签分类实战、多模态语音转换模型基础、glm架构多模态语音文字转换实战。
pytorch语音识别实战内容详尽、示例丰富，适合作为语音识别初学者、深度学初学者、语音识别技术人员的参书，同时也非常适合作为高等院校或高职高专深度学、语音识别等课程的教材。

【作者简介】

王晓华，高校计算机专业讲师，研究方向为云计算、大数据与人工智能。其创作的部分图书：从零开始大模型开发与微调：基于pytorch与chatglmpytorch 2.0深度学从零开始学python机器学与可视化分析实战谷歌jax深度学从零开始学park 3.0大数据分析与挖掘：基于机器学tenorflow深度学应用实践tenorflow语音识别实战tenorflow 2.0深度学从零开始学深度学的数学与实现。

【目录】

章 语音识别之路 1

1.1 何谓语音识别 1

1.2 语音识别为什么那么难 2

1.3 语音识别之路——语音识别的发展历程 3

1.3.1 高斯混合-隐马尔科夫时代 4

1.3.2 深度神经网络-隐马尔科夫时代 5

1.3.3 基于深度学的端到端语音识别时代 6

1.3.4 多模态架构的语音识别与转换 7

1.4 基于深度学的语音识别的未来 8

1.5 本章小结 8

第2章 pytorch 2.0深度学环境搭建 9

2.1 环境搭建1：安装python 9

2.1.1 miniconda的下载与安装 9

2.1.2 pycharm的下载与安装 12

2.1.3 python代码小练：计算softmax函数 15

2.2 环境搭建2：安装pytorch 2.0 16

2.2.1 nvidia 10/20/30/40系列显卡选择的gpu版本 16

2.2.2 pytorch 2.0 gpu nvidia运行库的安装 16

2.2.3 pytorch 2.0小练：hello pytorch 19

2.3 实战：基于特征词的语音唤醒 20

2.3.1 数据的准备 20

2.3.2 数据的处理 21

2.3.3 模型的设计 24

2.3.4 模型的数据输入方法 24

2.3.5 模型的训练 25

2.3.6 模型的结果和展示 26

2.4 本章小结 27

第3章 音频信号处理的理论与python实战 28

3.1 音频信号的基本理论详解 28

3.1.1 音频信号的基本理论 28

3.1.2 音频信号的时域与频域 29

3.2 傅里叶变换详解 30

3.2.1 傅里叶级数 31

3.2.2 连续到离散的计算 33

3.2.3 python中的傅里叶变换实战 34

3.3 快速傅里叶变换与短时傅里叶变换 38

3.3.1 快速傅里叶变换python实战 39

3.3.2 短时傅里叶变换python实战 42

3.4 梅尔频率倒谱系数python实战 44

3.4.1 梅尔频率倒谱系数的计算过程 44

3.4.2 梅尔频率倒谱系数的python实现 45

3.5 本章小结 52

第4章 音频处理工具包librosa详解与实战 53

4.1 音频特征提取librosa包基础使用 53

4.1.1 基于librosa的音频信号读取 53

4.1.2 基于librosa的音频多种特征提取 56

4.1.3 其他基于librosa的音频特征提取工具 58

4.2 基于音频特征的声音聚类实战 59

4.2.1 数据集的准备 59

4.2.2 按标签类别整合数据集 62

4.2.3 音频特征提取函数 63

4.2.4 音频特征提取之数据降维 64

4.2.5 音频特征提取实战 65

4.3 本章小结 69

第5章 基于深度神经网络的语音情绪分类识别 70

5.1 深度神经网络与多层感知机详解 70

5.1.1 深度神经网络与多层感知机 70

5.1.2 基于pytorch 2.0的深度神经网络建模示例 71

5.1.3 交熵损失函数详解 73

5.2 实战：基于深度神经网络的语音情绪识别 74

5.2.1 情绪数据的获取与标签的说明 75

5.2.2 情绪数据集的读取 76

5.2.3 基于深度神经网络示例的模型设计和训练 78

5.3 本章小结 79

第6章 一学会的深度学基础算法 80

6.1 反向传播神经网络前身历史 80

6.2 反向传播神经网络基础算法详解 84

6.2.1 小二乘法详解 84

6.2.2 梯度下降算法（道士下山的故事） 86

6.2.3 小二乘法的梯度下降算法及其python实现 89

6.3 反馈神经网络反向传播算法介绍 95

6.3.1 深度学基础 95

6.3.2 链式求导法则 96

6.3.3 反馈神经网络与公式推导 97

6.3.4 反馈神经网络的激活函数 103

6.4 本章小结 104

第7章 基于pytorch卷积层的语音情绪分类识别 105

7.1 卷积运算的基本概念 105

7.1.1 基本卷积运算示例 106

7.1.2 pytorch中的卷积函数实现详解 107

7.1.3 池化运算 109

7.1.4 softmax激活函数 111

7.1.5 卷积神经网络的 112

7.2 基于卷积神经网络的语音情绪分类识别 114

7.2.1 串联到并联的改变——数据的准备 114

7.2.2 基于卷积的模型设计 116

7.2.3 模型训练 117

7.3 pytorch的深度可分离膨胀卷积详解 118

7.3.1 深度可分离卷积的定义 119

7.3.2 深度的定义以及不同计算层待训练参数的比较 121

7.3.3 膨胀卷积详解 121

7.4 本章小结 122

第8章 词映与循环神经网络 123

8.1 有趣的词映 123

8.1.1 什么是词映 124

8.1.2 pytorch中的词映处理函数详解 125

8.2 实战：循环神经网络与文本内容情感分类 126

8.2.1 基于循环神经网络的中文情感分类准备工作 126

8.2.2 基于循环神经网络的中文情感分类 128

8.3 循环神经网络理论讲解 131

8.3.1 什么是gru 131

8.3.2 单向不行，那双向 133

8.4 本章小结 134

第9章 基于whisper的语音转换实战 135

9.1 实战：whisper语音转换 135

9.1.1 whisper使用环境变量配置与模型介绍 135

9.1.2 whisper模型的使用 137

9.1.3 一学会的语音转换web前端 138

9.2 whisper模型详解 141

9.2.1 whisper模型体介绍 141

9.2.2 更多基于whisper的应用 143

9.3 本章小结 144

0章 注意力机制 146

10.1 注意力机制与模型详解 146

10.1.1 注意力机制详解 147

10.1.2 自注意力机制 148

10.1.3 ticks和layer normalization 153

10.1.4 多头自注意力 154

10.2 注意力机制的应用实践： 157

10.2.1 的体架构 157

10.2.2 回到输入层：初始词向量层和位置层 158

10.2.3 前馈层的实现 161

10.2.4 多层模块融合的transformerblock层 162

10.2.5 的实现 164

10.3 实战：拼音汉字转换模型 169

10.3.1 汉字拼音数据集处理 169

10.3.2 汉字拼音转换模型的确定 171

10.3.3 模型训练代码的编写 172

10.4 本章小结 174

1章 鸟叫的多标签分类实战 175

11.1 基于语音识别的多标签分类背景知识详解 175

11.1.1 多标签分类不等于多分类 176

11.1.2 多标签损失函数sigmoid + bceloss 176

11.2 实战：鸟叫的多标签分类 178

11.2.1 鸟叫声数据集的获取 178

11.2.2 鸟叫声数据处理与可视化 179

11.2.3 鸟叫声数据的批量化数据集建立 182

11.2.4 鸟叫分辨深度学模型的搭建 185

11.2.5 多标签鸟叫分类模型的训练与预测 188

11.3 为了更高的准确率：多标签分类模型的补充内容 190

11.3.1 使用不同的损失函数提高准确率 190

11.3.2 使用多模型集成的方式完成鸟叫语音识别 192

11.4 本章小结 194

2章 多模态语音转换模型基础 195

12.1 语音文字转换的研究历程与深度学 195

12.1.1 语音文字转换的传统方法 195

12.1.2 语音文字转换基于深度学的方法 197

12.1.3 早期深度学语音文字转换模型介绍 198

12.2 基于glm架构的多模态语音文本转换模型 202

12.2.1 不错的人工智能模型chatglm介绍 202

12.2.2 更加准确、高效和泛化的多模态语音转换架构——glm与gpt2 203

12.3 从零开始的gpt2模型训练与数据输入输出详解 205

12.3.1 开启低硬件资源gpt2模型的训练 205

12.3.2 gpt2的输入输出结构——自回归（auto-regression） 206

12.3.3 gpt2模型的输入格式的实现 208

12.3.4 经典gpt2模型的输出格式详解与代码实现 210

12.4 一看能学会的gpt2模型源码详解 212

12.4.1 gpt2模型中的主类 212

12.4.2 gpt2模型中的block类 219

12.4.3 gpt2模型中的attention类 224

12.4.4 gpt2模型中的mlp类 231

12.5 具有多样生成的gpt2生成函数 232

12.5.1 创造函数的使用与代码详解 233

12.5.2 创造参数temperature与采样个数topk简介 234

12.6 本章小结 236

3章 glm架构多模态语音文字转换实战 237

13.1 glm架构详解 237

13.1.1 glm模型架构重大突破：旋转位置编码 238

13.1.2 添加旋转位置编码的注意力机制 239

13.1.3 新型的激活函数glu详解 240

13.1.4 调整架构顺序的glmblock 240

13.1.5 自定义完整的glm模型（单文本生成版） 243

13.2 实战：基于glm的文本生成 247

13.2.1 数据集的准备 247

13.2.2 模型的训练 250

13.2.3 模型的推断 252

13.3 实战：基于glm的语音文本转换 253

13.3.1 数据集的准备与特征抽取 253

13.3.2 语音特征融合的方法 255

13.3.3 基于多模态语音融合的多模态模型设计 256

13.3.4 模型的训练 261

13.3.5 模型的推断 262

13.3.6 多模态模型准确率提高的方法 263

13.4 本章小结 264