图像显著区域提取方法及其应用研究

前 言
基于选择注意力机制的显著性检测技术已经成为计算机视觉和图像领域的研究热点，广泛应用于目标检测、图像分割、图像压缩、图像检索和场景分析等领域中。显著性检测模型的本质是让计算机模仿人类视觉系统去理解和分析图像，然而这是一件非常困难的事情，面临着许多挑战。人类视觉系统极其复杂，处理原理和具体过程仍然没有完全被研究人员所掌握，本身就具有巨大的挑战。因此，显著性模型目前仍然没有统一完整的理论框架，有待进一步研究和完善。
随着互联网的普及，传统的休闲娱乐方式不再是娱乐的主体，人们更多地选择线上的娱乐方式和通信工具。在这个背景下，社交平台应运而生，图片社交已经成为社交平台的主流功能。图片社交带来了海量的社交媒体图像，有限的计算资源如何对其进行快速有效的处理已经成为亟待解决的问题。本书研究的主要动因来自社交网站的图片处理压力，本书以显著性检测技术为切入点，选择图像显著区域提取方法为主要研究内容，并以图像分类机器视觉任务作为显著区域提取方法的应用延伸，具有非常重要的理论意义和应用价值。本书的具体研究内容概括如下。
（1）针对目前尚没有面向社交媒体图像的显著性数据集现状，构建了此类显著性数据集，详细论述了数据集的图像来源、图像的筛选原则、图像的标注及数据集的统计分析。为了验证新建数据集的性能，对新建数据集和目前流行的7个显著性数据集进行性能评测。实验结果表明，新建数据集具有显著区域尺寸丰富、与图像边界连接度高、不具有明显中心先验、显著区域与图像的颜色差异小等优点。此数据集为显著性检测研究提供了新的测试对象，而且标签信息也为新的显著区域提取方法提供了条件。
（2）研究表明，单纯依赖图像底层特征进行显著区域提取已经不能取得令人满意的效果，越来越多的提取方法转向机器学习和高层语义。基于此，充分考虑社交媒体图像带有语义标签的特点，提出了基于条件随机场模型的显著区域提取方法。该方法同时考虑图像外观特征和标签上下文信息，缩小了图像高级语义和低级特征之间的距离。
（3）深度学习技术正广泛应用于图像的显著区域提取任务，虽然基于深度学习特征的显著区域提取结果整体优于基于人工设计特征提取结果，但提取效果仍存在个体图像差异。基于此，提出了面向社交媒体图像的基于多特征的显著区域提取方法，既包括深度学习特征又包括人工设计特征。采用的深度学习特征包括卷积神经网络特征和标签语义特征。此外，将经典的基于人工设计特征提取方法的结果作为基于深度学习特征提取结果的有益补充，提出了基于标签和图像外观的显著图动态融合方法，此融合方法依赖于个体图像。
（4）根据图像是否包含显著区域，将图像库分为场景类图像库和对象类图像库。对于场景类图像库，提出了多环划分的特征池化区域选择方法和多视觉词硬编码方法，两种方法相结合能够对场景类图像库进行快速分类。对于对象类图像库，提出了基于显著性的软编码方法，既突出了显著区域对于对象类图像库的重要性，又体现了局部性空间约束对编码一致性的重要作用。实验结果证明了显著性能够为图像分类方法提供新思路。
本书的出版得到北京市信息服务工程重点实验室、国家自然科学基金项目“无人车多视视频信息获取与定位关键技术”（项目编号：61871038）和北京市属高校一流专业软件工程专业建设项目的资助。在本书的出版过程中，得到了北京联合大学机器人学院领导和同事的大力支持与帮助，电子工业出版社的许存权编辑在本书的编写过程中提出了很多宝贵意见和建议，在此向他们一并表示深切的感谢。
本书对从事计算机视觉工作的相关人员具有一定的借鉴与启发意义，但面对信息技术和人工智能的大势洪流，我自知自己学识的匮乏和局限，我的所学所研更像是学海浮萍。囿于我的水平，故恳请各位同行斧正。

本书密切跟踪国际前沿研究主流的发展趋势，探析了显著区域提取的研究方向、显著区域的提取方法及其应用，以显著性检测的关键因素为导向，以论述基础概念、研究相关算法、提出可行模型为主线，构建了面向社群图像的显著性数据集，提出了显著区域提取模型，并利用显著性检测技术有效地解决了对象类图像库的分类问题。 本书可作为高等院校和科研机构计算机科学与技术相关专业本科生和研究生的教学参考书，也可以作为计算机视觉领域技术人员的参考书。

梁晔，2004.7-至今，一直在北京联合大学（北京市信息服务工程重点实验室）从事图像处理方面的教学和研究工作，发表过多部相关著作和教材。承担了多项省部级相关课题，如国家自然科学基金项目“无人车多视视频信息获取与定位关键技术”（项目编号：61871038）等。

目 录 
第1章 绪论 1 
1.1 研究背景和意义 1 
1.2 研究现状 6 
1.2.1 显著区域提取方法的研究现状及分析 6 
1.2.2　显著性数据集的研究现状及分析 12 
1.3　本书的主要研究内容 18 
1.4 本书的内容安排 19 
第2章　面向社交媒体图像的显著性数据集 21 
2.1　引言 21 
2.2　数据集的图像筛选原则与性能评测方法 22 
2.2.1　图像筛选原则 22 
2.2.2　数据集的性能评测方法 25 
2.3　面向社交媒体图像的显著性数据集的构建 30 
2.3.1　图像来源 30 
2.3.2　图像标注 31 
2.3.3　图像筛选 32 
2.3.4　数据集的统计分析与性能评测 32 
2.3.5　数据集的典型图像 36 
2.3.6　数据集的标签信息统计 38 
2.4　本章小结 38 
第3章 基于标签上下文的显著区域提取方法 40 
3.1 引言 40 
3.2 显著区域提取流程 41 
3.3 显著区域提取方法建模 43 
3.3.1 条件随机场模型介绍 43 
3.3.2 提取方法的模型描述 43 
3.4 基于图像外观的显著性计算 45 
3.4.1 多尺度的区域分割 45 
3.4.2 显著性计算 46 
3.4.3 空间一致性优化 47 
3.4.4 多尺度显著图融合 48 
3.5 标签语义特征计算 48 
3.6 实验 50 
3.6.1 实验设置 50 
3.6.2 评价指标 52 
3.6.3 标签有效性的验证实验 53 
3.6.4 与流行方法的比较 56 
3.7 本章小结 61 
第4章 基于多特征的显著区域提取方法 62 
4.1 引言 62 
4.1.1 图像特征的获取方法 62 
4.1.2 卷积神经网络 63 
4.1.3 基于层次结构的显著区域提取方法 65 
4.2 基于多特征的显著区域提取方法流程 66 
4.3 基于深度学习特征的显著区域提取 67 
4.3.1 基于CNN特征的显著性计算 67 
4.3.2 标签语义特征计算 71 
4.3.3 显著图和标签语义图的融合 72 
4.4 基于人工设计特征的显著区域提取 72 
4.5 图像依赖的显著图动态融合 74 
4.5.1 方法思想 74 
4.5.2 训练阶段 76 
4.5.3 测试阶段 76 
4.5.4 基于投票机制的显著图融合 77 
4.6 空间一致性优化 79 
4.7 实验 80 
4.7.1 实验设置 80 
4.7.2 SID数据集上的实验 82 
4.7.3 流行数据集上的实验 89 
4.7.4 基于深度学习特征提取方法和基于人工设计特征提取方法的比较 91 
4.8 本章小结 92 
第5章 显著性在图像分类中的应用 93 
5.1 基于显著性的图像分类框架 93 
5.1.1 分析思想的由来 93 
5.1.2 图像库的显著性分析 95 
5.1.3 分类框架 96 
5.2 特征编码技术和特征池化技术 97 
5.2.1 符号说明 97 
5.2.2 特征编码技术 98 
5.2.3 特征池化技术 101 
5.3 面向场景类图像库的分类方法 104 
5.3.1 多环划分的特征池化区域选择方法 104 
5.3.2 多视觉词硬编码方法 107 
5.3.3 实验 108 
5.4 面向对象类图像库的分类方法 112 
5.4.1 基于显著性和空间局部约束的软编码方法 112 
5.4.2 实验 114 
5.5 本章小结 116 
第6章 总结与展望 117 
6.1 总结 117 
6.2 展望 118 
参考文献 120

本书密切跟踪国际前沿研究主流的发展趋势，探析了显著区域提取的研究方向、显著区域的提取方法及其应用，以显著性检测的关键因素为导向，以论述基础概念、研究相关算法、提出可行模型为主线，构建了面向社群图像的显著性数据集，提出了显著区域提取模型，并利用显著性检测技术有效地解决了对象类图像库的分类问题。 本书可作为高等院校和科研机构计算机科学与技术相关专业本科生和研究生的教学参考书，也可以作为计算机视觉领域技术人员的参考书。

梁晔，2004.7-至今，一直在北京联合大学（北京市信息服务工程重点实验室）从事图像处理方面的教学和研究工作，发表过多部相关著作和教材。承担了多项省部级相关课题，如国家自然科学基金项目“无人车多视视频信息获取与定位关键技术”（项目编号：61871038）等。