深度学习视频理解(博文视点出品)

图书标准信息

• 作者 张皓 著
• 出版社 电子工业出版社
• 出版时间 2021-10
• ISBN 9787121419805
• 定价 128.00元

【内容简介】

视频理解是计算机视觉和深度学习的一个重要分支。本书对视频理解的3个重要领域进行介绍，对于每个领域，本书不仅解释了相关算法的原理，还梳理了算法演进的脉络。全书共分6章，第1章简要介绍视频行业的发展历程；第2章回顾经典图像分类模型和RNN；第3章和第4章介绍动作识别的重要算法；第5章介绍时序动作定位的重要算法；第6章介绍视频Embedding的重要算法。最后总结了常用的一些视频处理工具。

 

本书既适合高等院校人工智能相关专业的本科生和研究生阅读，也可供视频理解、推荐系统、搜索引擎和计算广告等领域的研究人员和从业者参考。

 

【作者简介】

张皓，毕业于南京大学计算机系周志华教授领导的机器学习与数据挖掘研究所（LAMDA），导师为吴建鑫教授，研究方向为深度学习和计算机视觉，曾获国家奖学金、江苏省三好学生等荣誉。发表论文累计被引超过 190 次，合译《模式识别》一书，曾获 2016 年ECCV视频表象性格分析竞赛世界冠军。

 

现任腾讯在线视频研究员，专注于腾讯视频等场景下的相关视频理解任务。曾任腾讯优图实验室研究员，为“微信看一看”等场景提供相关视频理解能力。

 

知乎号“张皓”，担任多个自媒体作者或专栏作者。

 

【目录】

第1章  绪论          1

 

1.1  引言        1

 

1.2  本书内容        5

 

1.3  本章小结        15

 

第2章  经典网络结构回顾          16

 

2.1  经典图像分类网络        16

 

2.1.1  LetNet-5      16

 

2.1.2  AlexNet        18

 

2.1.3  VGGNet       22

 

2.1.4  GoogLeNet  24

 

2.1.5  Inception V2/V3  27

 

2.1.6  ResNet         28

 

2.1.7  preResNet   31

 

2.1.8  WRN    32

 

2.1.9  随机深度网络    33

 

2.1.10  DenseNet  35

 

2.1.11  ResNeXt    36

 

2.1.12  SENet         39

 

2.1.13  MobileNet 41

 

2.1.14  MobileNet V2/V3       44

 

2.1.15  ShuffleNet 46

 

2.1.16  ShuffleNet V2    49

 

2.2  RNN、LSTM和GRU      51

 

第3章  基于2D卷积的动作识别       62

 

3.1  平均汇合        62

 

3.2  NetVLAD和NeXtVLAD  64

 

3.3  利用RNN融合各帧特征       77

 

3.4  利用3D卷积融合各帧特征 81

 

3.5  双流法   87

 

3.6  时序稀疏采样        95

 

3.7  利用iDT轨迹         104

 

第4章  基于3D卷积的动作识别       110

 

4.1  3D卷积基础网络结构  110

 

4.2  I3D 118

 

4.4  TSM         135

 

4.5  3D卷积 + RNN      137

 

4.6  ARTNet   139

 

4.7  Non-Local        141

 

4.8  SlowFast 148

 

4.9  3D卷积神经网络超参数设计      152

 

第5章  时序动作定位          159

 

5.1  基于滑动窗的算法        160

 

5.2  基于候选时序区间的算法   171

 

5.3  自底向上的时序动作定位算法   183

 

5.4  对时序结构信息建模的算法        197

 

5.5  逐帧预测的算法   202

 

5.6  单阶段算法   208

 

第6章  视频Embedding      219

 

6.1  基于视频内容的无监督 Embedding   220

 

6.2  Word2Vec        229

 

6.2.1  CBOW和Skip-Gram   229

 

6.2.2  分层 Softmax     234

 

6.2.3  负采样         239

 

6.3  Item2Vec         247

 

6.3.1  Item2Vec 基本形式   247

 

6.3.2  Item2Vec的改进         249

 

6.4  基于图的随机游走        252

 

6.5  结合一二阶相似度        257

 

6.6  基于图的邻居结点        265

 

6.7  基于多种信息学习视频Embedding     274

 

附录A  视频处理常用工具 281

 

参考文献         296