计算机视觉中的深度学习

人工智能相比于人力而言具有低成本、高效率和全天候等巨大优势，但其发展往往不能全面满足实际场景的旺盛需求。近年来人工智能与计算机视觉的结合日益紧密，基于深度学习研究计算机视觉成为一个新方向。深度学习的特点是层次化的特征提取、规模更大、数据更多、计算更复杂。本书从介绍计算机视觉的任务入手，总结从传统手工提取特征方法到深度学习的发展历程。然后，针对不同层次的计算机视觉任务，结合作者团队近年来的研究成果，以及部分学界公认的里程碑式成果，从理论层面论述深度学习在具体计算机视觉任务中的应用。本书作者来自北京邮电大学长期从事多媒体技术教学和研究的一线教师。本书适合从事图像和视频的处理和理解的研究人员、相关领域软件开发人员或研究生阅读。

人工智能相比于人力而言具有低成本、高效率和全天候等巨大优势，但其发展往往不能全面满足实际场景的旺盛需求。近年来人工智能与计算机视觉的结合日益紧密，基于深度学习研究计算机视觉成为一个新方向。深度学习的特点是层次化的特征提取、规模更大、数据更多、计算更复杂。本书从介绍计算机视觉的任务入手，总结从传统手工提取特征方法到深度学习的发展历程。然后，针对不同层次的计算机视觉任务，结合作者团队近年来的研究成果，以及部分学界公认的里程碑式成果，从理论层面论述深度学习在具体计算机视觉任务中的应用。本书作者来自北京邮电大学长期从事多媒体技术教学和研究的一线教师。本书适合从事图像和视频的处理和理解的研究人员、相关领域软件开发人员或研究生阅读。

姜竹青，博士，加拿大麦吉尔大学访问学者，现任教于北京邮电大学，硕士生导师。主持或主要参与多项机器学习相关的国家自然科学基金，在国际学术会议发表相关论文30余篇，并与国家广播电影电视总局、中国航天科技集团、中国石油天然气股份有限公司、中国移动通信集团等部委和企业保持合作关系。

目 录 
第1章 计算机视觉及其任务 1 
1.1 计算机视觉的定义 1 
1.2 计算机视觉的发展沿革 1 
1.3 计算机视觉的主要任务及其应用 2 
1.3.1 图像恢复 2 
1.3.2 图像识别 3 
1.3.3 动作分析 4 
1.3.4 场景重建 5 
1.3.5 行人再识别 6 
1.4 本章小结 7 
本章参考文献 7 
第2章 手工特征 8 
2.1 初级图像特征 8 
2.1.1 颜色特征 8 
2.1.2 纹理特征 11 
2.1.3 形状特征 12 
2.2 中级图像特征 13 
2.2.1 Haar-like特征 14 
2.2.2 SIFT特征 16 
2.2.3 SURF特征 19 
2.3 本章小结 21 
本章参考文献 21 
第3章 神经网络基础理论 23 
3.1 神经元概述 23 
3.1.1 感知器 23 
3.1.2 激活函数 24 
3.1.3 神经元模型 28 
3.2 神经网络基础结构 28 
3.2.1 两层神经网络模型 28 
3.2.2 前馈神经网络和循环神经网络 29 
3.2.3 神经网络中的参数 30 
3.3 神经网络训练 31 
3.3.1 权重初始化 31 
3.3.2 偏置初始化 32 
3.3.3 前向传播 32 
3.3.4 损失函数 32 
3.3.5 反向传播 33 
3.3.6 参数更新 35 
3.3.7 批归一化 37 
3.3.8 正则化 38 
3.4 常见的神经元模型 40 
3.4.1 空间信息处理单元 40 
3.4.2 时间信息处理单元 41 
3.5 本章小结 43 
本章参考文献 44 
第4章 神经网络结构 46 
4.1 LENET5 46 
4.2 ALEXNET 48 
4.3 VGGNET 50 
4.4 INCEPTION 53 
4.5 RESNET 55 
4.6 DENSENET 57 
4.7 MOBILENET 60 
4.8 FCN 63 
4.9 本章小结 71 
本章参考文献 71 
第5章 目标分割 73 
5.1 目标分割技术概述 73 
5.1.1 目标分割技术基本理论与模型 73 
5.1.2 目标分割技术概述 74 
5.1.3 评价标准 77 
5.2 基于深度学习多路径特征融合的图像语义分割 79 
5.2.1 特点 79 
5.2.2 基于VGGNet的多路径特征融合算法 80 
5.2.3 基于ResNet的多路径特征融合算法 85 
5.3 基于模糊逻辑的多特征视频运动目标分割 88 
5.3.1 特点 88 
5.3.2 算法 88 
5.3.3 实验 96 
5.4 目标分割未来趋势 98 
本章参考文献 99 
第6章 目标检测 102 
6.1 目标检测算法概述 102 
6.1.1 算法概述 102 
6.1.2 评价指标 104 
6.2 传统目标检测方法 106 
6.2.1 区域选择算法 106 
6.2.2 典型人工图像特征 106 
6.2.3 分类器类型及训练 106 
6.3 基于候选区域的目标检测方法 110 
6.3.1 R-CNN的实现 110 
6.3.2 SPP-net的实现 111 
6.3.3 Fast R-CNN的实现 112 
6.3.4 Faster R-CNN的实现 113 
6.4 基于回归的目标检测 115 
6.4.1 YOLO的实现 115 
6.4.2 SSD的实现 117 
6.4.3 YOLOv2的改进 119 
6.5 改进算法拾萃 122 
6.5.1 困难样本挖掘 122 
6.5.2 YOLOv2损失函数 123 
6.5.3 基于上下文信息的SSD改进 124 
6.5.4 多特征多尺度融合 126 
6.6 目标检测未来趋势 129 
本章参考文献 130 
第7章 目标跟踪 132 
7.1 目标跟踪技术概述 132 
7.1.1 目标跟踪算法基本理论与模型 132 
7.1.2 目标跟踪算法概述 133 
7.1.3 评价标准 135 
7.2 平衡正负样本权重的多示例学习跟踪算法 136 
7.2.1 MIL跟踪算法 136 
7.2.2 平衡正负样本权重 138 
7.3 基于核化相关滤波器的视觉目标跟踪算法研究与改进 143 
7.3.1 基于相关滤波器的目标跟踪算法 143 
7.3.2 自适应模板更新的目标跟踪算法 150 
7.3.3 CNN和相关滤波结合的跟踪算法 158 
7.4 基于中心对比CNN的目标跟踪算法研究 169 
7.4.1 逐任务驱动的CNN目标跟踪算法 169 
7.4.2 中心对比CNN目标跟踪算法 170 
7.4.3 小运动优先的视觉目标跟踪算法 175 
7.5 目标跟踪未来趋势 180 
本章参考文献 180 
第8章 行人再识别 183 
8.1 行人再识别技术概述 183 
8.1.1 行人再识别技术基本理论与模型 183 
8.1.2 行人再识别技术简介 184 
8.1.3 评价标准 186 
8.2 基于ADARANK进行特征集成的行人再识别算法 188 
8.2.1 算法特点 188 
8.2.2 算法细节 188 
8.2.3 实验结果 200 
8.3 基于增强深度特征的行人再识别算法 206 
8.3.1 算法特点 206 
8.3.2 引入注意力机制的网络模型 207 
8.3.3 引入手工特征：LOMO特征融合到多级注意力识别—验证网络 215 
8.4 基于属性和身份特征融合的行人再识别算法 221 
8.4.1 特点 221 
8.4.2 算法 222 
8.4.3 实验 230 
8.5 行人再识别未来趋势 236 
本章参考文献 237 
第9章 图像压缩 242 
9.1 有损压缩和无损压缩 242 
9.1.1 无损压缩 242 
9.1.2 有损压缩 243 
9.2 经典的有损图像压缩方法 243 
9.2.1 JPEG 243 
9.2.2 JPEG 2000 243 
9.2.3 BPG 244 
9.3 基于深度学习的图像压缩技术 244 
9.4 基于空间能量压缩的图像压缩 244 
9.4.1 算法特点 244 
9.4.2 算法细节 245 
9.4.3 实验结果 249 
9.5 利用卷积神经网络进行内容加权的图像压缩 249 
9.5.1 算法特点 249 
9.5.2 算法细节 250 
9.5.3 实验结果 254 
9.6 基于生成式对抗网络的图像压缩 255 
9.6.1 算法特点 255 
9.6.2 算法细节 255 
9.6.3 实验结果 257 
9.7 图像压缩未来趋势 257 
本章参考文献 258 
第10章分辨率重建 259 
10.1 分辨率技术概述 259 
10.1.1 分辨率技术的基本理论与模型 259 
10.1.2分辨率技术概述 261 
10.2 基于深度残差网络注意力机制的图像超分辨率重建 263 
10.2.1 存在的问题 263 
10.2.2 提出的解决方案 264 
10.2.3 具体实现细节 264 
10.2.4 实验结果比较分析 267 
10.3 基于增强的可变形卷积网络的视频超分辨率 271 
10.3.1 视频分辨率 271 
10.3.2 存在的问题 272 
10.3.3 针对存在的问题提出的解决方案 272 
10.3.4 具体实现 274 
10.3.5 实验对比 277 
10.4 真实原始传感器数据的分辨率重建 278 
10.4.1 存在的问题 278 
10.4.2 针对问题提出的解决方案 279 
10.4.3 具体实现细节 279 
10.4.4 实验对比 281 
10.5 分辨率重建未来趋势 283 
本章参考文献 284 
第11章 图像去噪技术 287 
11.1 图像去噪技术概述 287 
11.1.1 图像去噪基本理论与模型 287 
11.1.2 图像去噪算法 287 
11.1.3 评价标准 292 
11.2 去噪卷积神经网络 293 
11.2.1 算法特点 293 
11.2.2 存在问题 294 
11.2.3 算法细节 294 
11.2.4 实验结果 295 
11.3 盲去噪卷积神经网络 299 
11.3.1 算法特点 299 
11.3.2 存在问题 299 
11.3.3 算法细节 299 
11.3.4 实验 302 
11.4 真实图像去噪神经网络 307 
11.4.1 特点 307 
11.4.2 存在问题 307 
11.4.3 算法细节 307 
11.4.4 实验 310 
11.4.5 总结 312 
11.5 图像去噪未来趋势 312 
本章参考文献 312 
附录A 术语与缩略词表 313

人工智能相比于人力而言具有低成本、高效率和全天候等巨大优势，但其发展往往不能全面满足实际场景的旺盛需求。近年来人工智能与计算机视觉的结合日益紧密，基于深度学习研究计算机视觉成为一个新方向。深度学习的特点是层次化的特征提取、规模更大、数据更多、计算更复杂。本书从介绍计算机视觉的任务入手，总结从传统手工提取特征方法到深度学习的发展历程。然后，针对不同层次的计算机视觉任务，结合作者团队近年来的研究成果，以及部分学界公认的里程碑式成果，从理论层面论述深度学习在具体计算机视觉任务中的应用。本书作者来自北京邮电大学长期从事多媒体技术教学和研究的一线教师。本书适合从事图像和视频的处理和理解的研究人员、相关领域软件开发人员或研究生阅读。

姜竹青，博士，加拿大麦吉尔大学访问学者，现任教于北京邮电大学，硕士生导师。主持或主要参与多项机器学习相关的国家自然科学基金，在国际学术会议发表相关论文30余篇，并与国家广播电影电视总局、中国航天科技集团、中国石油天然气股份有限公司、中国移动通信集团等部委和企业保持合作关系。