基于视觉信息的目标检测与跟踪

张跃，北京邮电大学副研究员，博士生导师。2017年毕业于中国科学院大学，获博士学位。研究领域包括深度学习、计算机视觉、模式识别等，主持国家自然科学基金1项、国防装备预研2项，并在国家重点研发计划、国家重大科技专项等多个重大项目中负责图像智能分析核心算法的研制。在全国性人工智能竞赛中获得一等奖/第yi名4项，发表SCI论文20余篇。

第1章绪论

1.1概述

1.2基于视觉信息的目标检测与跟踪典型应用场景

1.2.1文化娱乐领域

1.2.2医疗健康领域

1.2.3安防监控领域

1.2.4遥感分析领域1.3基于视觉信息的目标检测与跟踪的国内外研究现状和进展

1.3.1基于视觉信息的目标检测的研究现状和进展

1.3.2基于视觉信息的目标跟踪的研究现状和进展

1.4本章小结

第2章 基于视觉信息的目标检测与跟踪基础

2.1卷积神经网络基础

2.1.1卷积神经网络的基本单元

2.1.2经典的卷积神经网络

2.1.3卷积神经网络的训练和推理

2.1.4正则化策略…

2.2典型目标检测算法·

2.2.1双阶段目标检测算法2.2.2单阶段目标检测算法2.3典型目标跟踪算法2.3.1视觉单目标跟踪算法2.3.2视觉多目标跟踪算法2.4本章小结

第3章基于视觉信息的目标检测与跟踪数据集与评测指标

3.1目标检测典型数据集

3.2目标跟踪典型数据集

3.3评测指标

3.3.1目标检测评测指标

3.3.2目标跟踪评测指标

本章小结

第4章基于视觉信息的目标检测方法

4.1问题与分析

4.2基于交并比指引的目标检测算法·

4.2.1交并比指引的候选区域重要性加权

4.2.2交并比指引的检测框架…

4.2.3线性虚警消减·

4.2.4基于交并比指引的目标检测算法实验结果及分析

4.3基于候选区域特征自适应表达的目标检测算法·

4.3.1特征自适应选择模块

4.3.2全局注意力特征选择模块·

4.3.3特征自适应选择子网络·

4.3.4基于候选区域特征自适应表达的目标检测算法实验结果及分析……98本章小结

第5章基于视觉信息的目标跟踪方法

5.1问题与分析

5.2运动引导的孪生网络视觉单目标跟踪算法

5.2.1基于孪生网络的视觉单目标跟踪算法

5.2.2运动模型

5.2.3判别模型

5.2.4运动引导的孪生网络视觉单目标跟踪算法的整体框架

5.2.5运动引导的孪生网络视觉单目标跟踪算法实验结果及分析……1165.3两阶段在线视觉多目标跟踪算法

5.3.1第一阶段在线视觉多目标跟踪算法

5.3.2第二阶段在线视觉多目标跟踪算法5.3.3两阶段在线视觉多目标跟踪算法的整体框架5.3.4两阶段在线视觉多目标跟踪算法实验结果及分析本章小结…第6章基于视觉信息的目标检测与跟踪展望6.1资源高效的模型6.2自监督学习6.3小样本学习参考文献…

第1章绪论随着人工智能和计算机视觉技术的发展，以目标为中心的视觉内容理解成为现阶段的研究热点，其中基于视觉信息的目标检测与跟踪是研究者关注的方向之一。本章首先介绍了基于视觉信息的目标检测与跟踪的任务内涵，然后阐述了其在文化娱乐、医疗健康、安防监控和遥感分析领域的应用价值，最后系统性地归纳了其国内外研究现状与进展。通过阅读本章，读者可以对基于视觉信息的目标检测与跟踪问题产生一个整体性的认识。1.1概述

计算机视觉是为了让计算机及相关设备能够像人类一样认知并解决图像、视频相关问题而发展起来的科学。它利用各种成像系统来感知外部环境、模拟人的视觉器官、实现视觉感知，并使用计算机对感知到的外部环境进行理解，使得计算机能够像人一样通过视觉来感知和理解世界，从而为进一步的决策提供信息。近些年来，随着计算机科学、机器学习理论的发展，计算机视觉技术在机器与人的交互、自动驾驶、卫星与航拍图像分析等领域获得了广泛的应用。其中，以目标为中心的视觉内容理解在各项应用中发挥着关键作用，因此，基于视觉信息的目标检测与跟踪成为计算机视觉领域的研究热点。基于视觉信息的目标检测任务是在给定图像中确定目标在图像中的位置与大小，并给出目标的正确类别，如图1-1所示。早期通常采用基于手工设计的图像特征表示方法和浅层学习器来实现视觉目标检测的任务。在算法流程中模型首先使用滑动窗口方法或自动区域提取方法对遥感影像进行空间区域划分，然后使用图像特征表示方法处理输入的遥感图像从而得到每个区域的图像表征，最后使用分类器处理图像的所有区域，进行目标的位置预测和类别分析。常用的图像特征表示方法包括局部二值模式(Local Binary Pattern,LBP）、尺度不变特征变换（Scale-InvariantFeature Transform,SIFT）、方向梯度直方图特征（Histogram of OrientedGradients,HOG）等,分类器包括支持向量机（Support Vector Machine,SVM)、最近邻分类器（k-Nearest-Neighbor,KNN）和条件随机场(Conditional RandomField,CRF)等。但基于手工设计特征获得的模型由于特征模式固定，在数据分布存在明显差异的场景下检测性能会受到较大影响。近年来，深度学习技术不断发展，由于深度学习具有自动从图像数据中学习特征空间的能力，因此其和手工设计特征方法相比具有更强的适应性，因此，本书将主要关注基于深度学习的目标检测方法。

基于视觉信息的目标跟踪任务是对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析。图1-2给出了基于视觉信息的目标跟踪任务示例，图中不同颜色的框表示不同目标(彩图可扫描二维码查看)。根据目标轨迹的形成时间，基于视觉信息的目标跟踪算法可以分为在线视觉目标跟踪算法和离线视觉目标跟踪算法。其中，在线视觉目标跟踪算法一般是指只利用当前跟踪图像帧中的目标信息和目标的已知轨迹进行关联且不改变目标已知轨迹的算法。而离线视觉目标跟踪算法一般是指利用当前跟踪图像帧前后一段时间内所有目标的轨迹对当前跟踪图像帧中所有目标的轨迹进行优化的算法，其通常会改变已确定的目标轨迹。而在很多实时性任务中，跟踪算法无法利用当前时刻之后的信息，也无法改变目标已有的运动轨迹。因此，相较于离线视觉目标跟踪算法，在线视觉目标跟踪算法的应用场景更加灵活，本书将主要关注在线视觉目标跟踪算法的研究。

本书聚焦基于视觉信息的目标检测与跟踪任务，系统性地介绍了其国内外研究现状与进展以及基础理论，并针对当前研究中存在的问题提出了相应的改进算法。此外，本书还对基于视觉信息的目标检测与跟踪的发展趋势进行了分析。