深度学习嵌入式应用开发：基于RK3399Pro和RK3588

图书标准信息

• 作者 王曰海 著
• 出版社 机械工业出版社
• 出版时间 2022-11
• 版次 1
• ISBN 9787111715757
• 定价 99.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 240页
• 字数 257千字

【内容简介】

这是一本讲解如何基于当前主流的智能芯片RK3399Pro与RK3588进行端侧智能开发的著作，它将指导读者如何基于这两款芯片进行算法的设计与实施，瑞芯微官方推荐。理论部分，以深度学习为主线，针对零基础的读者，不仅讲解了卷积神经网络、循环神经网络等深度神经网络的原理以及它们在计算机视觉、自然语言处理、语音识别等领域的经典算法，还讲解了深度神经网络的训练和模型优化。实践部分，以基于RK3399Pro与RK3588两款智能芯片的端侧智能开发为主线，讲解了芯片的功能架构、开发板及其开发环境、Rock-X API组件库，以及基于它们的各种端侧智能应用开发，包括各种神经网络的开发、神经网络的运算加速等，让读者掌握深度学习模型从设计、训练、优化到端侧部署的完整流程，快速学会人工智能应用的开发。

【作者简介】

:
    王日海(博士)，浙江大学副研究员，浙江大学-瑞芯微电子联合技术中心副主任，浙江大学绍兴研究院微电子中心副主任。主要从事信号处理与多媒体智能方向的研究，参与和承担国家重点研发计划、国家自然基金以及企事业单位联合项目20余项，在CVPR、ICASSP、lNTERSPEECH等国际顶级会议和期刊上发表相关论文20余篇，获得发明专利10余项。
    2016年建立浙江大学一瑞芯微电子联合技术中心，组织开展机器视觉、RGB—IR图像处理、音频降噪、模拟电源、氮化镓功率芯片等信号处理与芯片方向的研发项目，与瑞芯微建立了非常深入的研发合作关系。基于瑞芯微RK3399Pro人工智能芯片，开发了布匹瑕疵检测、自动扶梯安全检测、音频降噪、口语评测等AI算法与系统，对人工智能算法特别是音视频智能处理在嵌入式系统上的部署和应用有丰富的经验。

【目录】

前言

第1章　深度学习基础　1

1.1　深度学习的现实应用　2

1.1.1　计算机视觉　2

1.1.2　自然语言处理　2

1.1.3　推荐系统　3

1.1.4　语音处理　3

1.1.5　其他领域　3

1.2　回归问题和分类问题　4

1.2.1　线性回归　5

1.2.2　Softmax分类　6

1.3　梯度下降算法　8

1.3.1　优化算法概述　8

1.3.2　随机梯度下降算法　10

1.3.3　小批量梯度下降算法　13

1.3.4　Momentum梯度下降

算法　14

1.3.5　Adam优化算法　15

1.4　神经网络　16

1.4.1　神经网络的表示　16

1.4.2　激活函数及其导数　19

1.4.3　前向传播和反向传播　23

1.4.4　神经网络的梯度下降　26

1.5　本章小结　27

第2章　卷积神经网络　28

2.1　卷积基础知识　28

2.1.1　卷积操作　29

2.1.2　池化　33

2.1.3　卷积的变种　34

2.2　深度卷积神经网络　37

2.2.1　卷积神经网络的整体

结构　37

2.2.2　残差结构和1×1卷积　38

2.2.3　经典卷积网络　41

2.3　卷积神经网络的应用　44

2.3.1　图像分类　44

2.3.2　目标检测　45

2.3.3　其他应用　49

2.4　本章小结　49

第3章　循环神经网络　50

3.1　深度循环神经网络　50

3.1.1　循环神经网络概述　51

3.1.2　基于时间的反向传播　52

3.1.3　循环神经网络的长期依赖

问题　54

3.2　循环神经网络变体　55

3.2.1　长短时记忆网络　55

3.2.2　门控循环神经网络　60

3.3　序列模型和注意力机制　61

3.3.1　Seq2Seq序列模型　62

3.3.2　注意力机制　64

3.3.3　Transformer结构　69

3.4　循环神经网络的应用　74

3.4.1　自然语言处理　74

3.4.2　语音识别　84

3.4.3　唤醒词检测　87

3.5　本章小结　88

第4章　深度神经网络的训练　90

4.1　深度学习的学习策略　90

4.1.1　数据集划分和评估指标　90

4.1.2　偏差、方差和误差　94

4.1.3　神经网络的权重初始化　95

4.2　深度学习的训练技巧　96

4.2.1　梯度消失和梯度爆炸　96

4.2.2　正则化和随机失活　97

4.2.3　归一化　99

4.2.4　自适应学习率　100

4.2.5　超参数优化　101

4.3　改善模型表现　102

4.3.1　解决数据不匹配问题　102

4.3.2　迁移学习　103

4.4　动手训练神经网络　104

4.4.1　Jupyter Notebook的

使用　104

4.4.2　训练MNIST手写数字识别模型　106

4.4.3　TensorBoard的使用　112

4.5　本章小结　115

第5章　RK3399Pro芯片功能与

架构　116

5.1　RK3399Pro芯片的整体架构　116

5.2　神经网络处理单元　121

5.2.1　神经网络处理单元的

4个模块　122

5.2.2　RKNN-Toolkit开发

套件　123

5.2.3　RKNN-API开发套件　126

5.3　视频处理单元　126

5.4　图形处理加速单元　128

5.5　本章小结　128

第6章　TB-RK3399Pro开发板　130

6.1　开发板硬件环境介绍　130

6.1.1　硬件总览　130

6.1.2　硬件规格　131

6.2　开发板开发环境搭建　134

6.2.1　开发板的启动和网络

配置　134

6.2.2　终端与软件包安装　138

6.3　本章小结　144

第7章　基于TB-RK3399Pro进行卷积神经网络实战　145

7.1　TB-RK3399Pro图像采集　145

7.1.1　原理　145

7.1.2　实战　146

7.2　TB-RK3399Pro手写数字

识别　147

7.2.1　原理　147

7.2.2　实战　150

7.3　TB-RK3399Pro YOLO目标

检测　152

7.3.1　原理　153

7.3.2　实战　154

7.4　TB-RK3399Pro人脸识别　156

7.4.1　原理　156

7.4.2　实战　162

7.5　本章小结　163

第8章　TB-RK3399Pro神经网络

运算加速　165

8.1　神经网络运算加速引擎介绍　165

8.2　神经网络模型部署和推理　166

8.2.1　模型部署　167

8.2.2　模型推理　169

8.3　神经网络模型量化　170

8.4　本章小结　173

第9章　基于TB-RK3399Pro开发板进行循环神经网络实战　174

9.1　TB-RK3399Pro开发板声音

采集　174

9.1.1　必备环境安装　174

9.1.2　声音采集　175

9.2　语音识别模型介绍　176

9.2.1　特征提取　177

9.2.2　语音识别网络　180

9.2.3　评价指标　182

9.3　TB-RK3399Pro语音识别

实战　182

9.3.1　实战目的　182

9.3.2　实战数据　182

9.3.3　实战环境　183

9.3.4　实战步骤　183

9.3.5　实战结果　187

9.4　本章小结　188

第10章　基于Rock-X API的深度

学习案例　189

10.1　Rock-X SDK介绍　189

10.2　Rock-X环境部署　190

10.3　目标检测　190

10.4　车牌识别