图像工程技术选编（二）

前言

本书是一本面向实际应用介绍图像工程技术的图书，是《图像工程技术选编》的续集。本书与一般的教材和专著都有所不同，但又试图结合它们的一些特点。本书的读者主要定位于原先没有很多图像技术的基础但又需要利用图像技术解决特定工作任务的科技工作者。

《图像工程技术选编》的选材内容和结构方式在当时都是新的尝试，从发行的角度看，还是受到了很多读者的认可，所以这里接着写了续集。

本书除引言外主要包括9章正文，分别介绍9种图像技术。它们是： 聚焦栈成像技术、图像去模糊技术、图像去雾技术、显著性目标检测技术、基于图像的生物特征识别技术、人脸三维重建技术、基于深度图的手势交互技术、同时定位与制图技术
以及图像释意技术。

本书每章内容均由三部分组成。部分介绍该技术的基本概念、基础原理、用途、历史和发展情况。这部分内容的深度比较接近教材，可以入门。第二部分是实现该技术的若干示例方法，每种方法均包括技术分析、算法描述、具体步骤、效果实例等。这部分内容的深度介于教材和专著之间，可以实用。第三部分是对近年一些与该技术相关文章的分析归纳，提炼其特点并分类，类似研究文章的综述介绍。这部分内容的深度更接近专著，提供了的相关信息，帮助读者进一步选择特定的参考文献，了解该领域的进展情况和发展趋势。

本书共有49节（二级标题），100个小节（三级标题），共有文字（也包括图片、绘图、表格、公式等折合）
40多万字，共有编了号的图191个、表格29个、公式349个。本书
结合所介绍的技术，专门对224篇近年的相关文章进行了分类并归纳了它们的特点，列表介绍给读者。后，书末列出了所引用的约350篇参考文献的目录和用于内容索引的约250个术语（同时给出对应英文）。

本书是清华大学电子工程系三位教师及他们的一些学生分工合作、共同努力的结果。在9章正文中，
第2~4章由章毓晋执笔，
第1、7、8章由王贵锦执笔，
第5、6章由陈健生执笔，第9章由黄翌青执笔。各章的编排以其内容相对应图像工程中由图像处理经图像分析到图像理解的顺序而确定。

本书的写作开始于2018年1月，经过多次讨论和交流，到2018年6月确定了全书的基本框架、覆盖内容，章节形式以及具体分工。出书计划也在2018年8月得到清华大学出版社的确认。2019年2月完成了初稿，其后经过汇总、审阅、修改，于2019年6月基本完成了各章终稿的图文内容。2019年暑假期间，章毓晋进行了全书统稿，撰写了引言，整理归纳了参考文献和术语索引，尽可能保持了各章协调一致的风格。
后，要感谢清华大学出版社编辑认真的审阅和精心的修改。

章毓晋2019年于清华大学
通信：  北京清华大学电子工程系，100084
电话：  (010) 62798540
电子邮件：  zhangyj@tsinghua.edu.cn
个人主页：  oa.ee.tsinghua.edu.cn/~zhangyujin/

本书是《图像工程技术选编》之二，另选取了九类当前得到广泛使用的图像技术给予介绍。对每类技术，先对其中的基本概念、工作的基本原理、过程的基本步骤给予概括介绍，以帮助了解和学习该类技术；接下来介绍几种具体实现技术功能的典型方法作为示例，以了解该类技术过程的特点，帮助达到有效运用该类技术进行图像加工的目的；*后介绍一些近年来在相关技术方面发表的文献，总结归纳它们的特点，以帮助深入开展进一步的工作。

章毓晋1989年获比利时列日大学应用科学博士学位。1989年至1993年为荷兰德尔夫特大学博士后及研究人员。从1993年到中国北京清华大学工作，1997年被聘为教授，1998年被评为博士生导师。2014年成为教学科研系列长聘教授。2003年学术休假期间同时被聘为新加坡南洋理工大学访问教授。 在清华大学，先后开出并讲授10多门本科生和研究生课程。在南洋理工大学，开出并讲授过研究生课程：“现代图像分析（英语）”。已出版了图像工程系列教材第1版、第2版、第3版和第4版等教材，以及专著《图象分割》，《基于内容的视觉信息检索》，《基于子空间的人脸识别》，编著了《英汉图像工程辞典》（第1版和第2版）和《图像工程技术选编》，主编了《Advances in Image and Video Segmentation》，《Semantic-Based Visual Information Retrieval》，《Advances in Face Image Analysis: Techniques and Technologies》。
 现为中国图象图形学学会副理事长；国际电气电子工程师协会（IEEE）高级会员；国际光学工程协会

目录

第0章引言

0.1图像技术

0.1.1图像工程

0.1.2图像技术分类

0.2本书特点

0.2.1写作动机

0.2.2选材内容

0.2.3结构安排

第1章聚焦栈成像

1.1聚焦栈图像的定义

1.2聚焦栈的采集

1.3基于聚焦栈的光场重建

1.3.1光场的采集方式

1.3.2聚焦栈光场重建算法
回顾

1.3.3聚焦栈与光场的线性
成像模型

1.3.4基于线性成像模型的迭代
滤波反投影光场重建

1.3.5实验与分析

1.4聚焦栈全清晰成像

1.4.1算法框架

1.4.2梯度流

1.4.3种子点提取

1.4.4全聚焦合成

1.4.5全清晰成像实验及
对比

1.5近期文献分类总结

第2章图像去模糊

2.1图像去模糊概述

2.1.1通用图像退化模型

2.1.2模糊退化

2.1.3模糊核估计

2.2经典去模糊方法

2.2.1逆滤波

2.2.2维纳滤波

2.2.3有约束小平方恢复

2.3估计运动模糊核

2.3.1快速盲反卷积

2.3.2基于CNN的方法

2.4低分辨率图像去模糊

2.4.1网络结构

2.4.2损失函数设计

2.4.3多类生成对抗网络

2.5近期文献分类总结

第3章图像去雾

3.1图像去雾方法概述

3.2暗通道先验去雾算法

3.2.1大气散射模型

3.2.2暗通道先验模型

3.2.3实用中的一些问题

3.3改进思路和方法

3.3.1大气光区域确定

3.3.2大气光值校正

3.3.3尺度自适应

3.3.4大气透射率估计

3.3.5浓雾图像去雾

3.4改善失真的综合算法

3.4.1综合算法流程

3.4.2T空间转换

3.4.3透射率空间的大气散
射图

3.4.4天空区域检测

3.4.5对比度增强

3.5去雾效果评价

3.5.1客观评价指标

3.5.2主客观结合的评价
实例

3.6近期文献分类总结

第4章显著性目标检测

4.1显著性概述

4.2显著性检测

4.3基于对比度提取显著性
区域

4.3.1基于对比度幅值

4.3.2基于对比度分布

4.3.3基于小方向对比度

4.3.4显著性目标分割和
评价

4.4基于背景先验提取显著性
区域

4.4.1相似距离

4.4.2小栅栏距离的近似
计算

4.4.3流水驱动的显著性区
域检测

4.4.4定位目标候选区域

4.5基于稳定区域提取显
著性区域

4.6近期文献分类总结

第5章基于图像的生物特征识别

5.1生物特征识别概述

5.1.1生物特征模态

5.1.2生物特征识别系统

5.1.3生物特征识别的评价
方法

5.2人脸识别

5.2.1人脸检测

5.2.2人脸特征提取

5.2.3人脸识别数据库

5.3指纹识别

5.3.1指纹的结构与特征

5.3.2指纹识别方法

5.3.3指纹数据库

5.4虹膜识别

5.4.1虹膜分割

5.4.2虹膜特征提取

5.4.3虹膜数据库

5.5步态识别

5.5.1基于人工设计特征的
步态识别

5.5.2基于深度学习的步态
识别

5.5.3步态数据库

5.6近期文献分类总结

第6章人脸三维重建

6.1人脸三维重建概述

6.1.1基于从阴影恢复形状
的人脸三维重建

6.1.2基于统计模型的人脸
三维重建

6.1.3基于从运动恢复结构
的人脸三维重建

6.2基于光照锥恢复的人脸三维
重建

6.2.1问题的建模

6.2.2求解步骤

6.2.3重建结果

6.2.4人脸对称性的应用

6.3基于统计模型的人脸三维
重建

6.3.1三维形变模型
（3DMM）

6.3.2基于球谐波光照模型
的重建方法

6.3.3基于径向基函数快速
三维重建方法

6.4基于运动视频序列的人脸
三维重建

6.5基于深度学习的人脸三维
重建

6.5.1结合3DMM的深度学习
重建方法

6.5.2深度学习模型直接回归
人脸三维模型

6.6近期文献分类总结

第7章基于深度图的手势交互

7.1手势交互概述

7.1.1基于深度图的手部姿态
估计

7.1.2动态手势识别

7.2基于姿态引导结构化区域集成
网络的手部姿态估计

7.2.1数据集及评价指标

7.2.2区域集成网络

7.2.3姿态引导的结构化区域
集成网络

7.3基于骨架的动态手势识别

7.3.1动态手势识别技术
概要

7.3.2运动特征增强网络

7.3.3实验结果分析

7.4近期文献分类总结

第8章同时定位与制图

8.1视觉SLAM概述

8.2视觉SLAM系统实现

8.2.1数据端的预处理

8.2.2视觉里程计

8.3结合机器学习的姿态优化与
语义建图

8.3.1基于Faster RCNN
优化

8.3.2姿态估计分析

8.3.3语义重建

8.3.4定位演示

8.4近期文献分类总结

第9章图像释意

9.1图像释意概述

9.1.1图像释意数据集和
数据预处理

9.1.2图像释意的生成方式
及评测指标

9.1.3图像释意发展的三个
阶段

9.2基于传统方法的图像释意
模型

9.2.1基于语言模板的模型

9.2.2基于检索的模型

9.2.3传统生成式模型

9.3基于编码器解码器模型的
图像释意

9.3.1模型的损失函数

9.3.2编码器解码器模型
结构

9.3.3基于注意力机制的
模型

9.3.4编码器解码器模型的
分支

9.4图像释意模型性能对比

9.5近期文献分类总结

参考文献

术语索引

本书是《图像工程技术选编》之二，另选取了九类当前得到广泛使用的图像技术给予介绍。对每类技术，先对其中的基本概念、工作的基本原理、过程的基本步骤给予概括介绍，以帮助了解和学习该类技术；接下来介绍几种具体实现技术功能的典型方法作为示例，以了解该类技术过程的特点，帮助达到有效运用该类技术进行图像加工的目的；*后介绍一些近年来在相关技术方面发表的文献，总结归纳它们的特点，以帮助深入开展进一步的工作。

章毓晋1989年获比利时列日大学应用科学博士学位。1989年至1993年为荷兰德尔夫特大学博士后及研究人员。从1993年到中国北京清华大学工作，1997年被聘为教授，1998年被评为博士生导师。2014年成为教学科研系列长聘教授。2003年学术休假期间同时被聘为新加坡南洋理工大学访问教授。 在清华大学，先后开出并讲授10多门本科生和研究生课程。在南洋理工大学，开出并讲授过研究生课程：“现代图像分析（英语）”。已出版了图像工程系列教材第1版、第2版、第3版和第4版等教材，以及专著《图象分割》，《基于内容的视觉信息检索》，《基于子空间的人脸识别》，编著了《英汉图像工程辞典》（第1版和第2版）和《图像工程技术选编》，主编了《Advances in Image and Video Segmentation》，《Semantic-Based Visual Information Retrieval》，《Advances in Face Image Analysis: Techniques and Technologies》。
 现为中国图象图形学学会副理事长；国际电气电子工程师协会（IEEE）高级会员；国际光学工程协会