增强现实算法基础

设想一下，当高铁线路选址人员进行实地考察时，面对幽深的峡谷，如果原建设方案中设计的大桥腾空而起，呈现在设计人员眼前，而且可在现场从不同的视角进行观察，必然能够更好地论证原选址方案的合理性。同样地，当游客来到一个文化遗址观赏古代遗留下来的壁画时，面对岩壁上褪色、缺损和脱落的壁画，不免心生遗憾。这时若采用某种显示模式，使呈现在游客眼前的壁画恢复原作的风貌，甚至使壁画中的人物鲜活地动起来，则可使游客眼前一亮，大大增强他们的文化体验感。上面介绍的场面正是增强现实的典型应用场景。通过运用增强现实技术，可以使车展中心无须耗费大量的精力去调集、陈列各种不同的豪车，随着销售员绘声绘色的讲解，一辆辆展车会实时地呈现在观众的眼前，其光影效果跟真实的展品一模一样，观众可以看到展车周围的现场实景，大大提升了展示效果的真实性。在不远的将来，增强现实技术还能让远程的朋友瞬间出现在眼前，相聚在同一间办公室，愉快地交谈和讨论问题。

以上应用场景通过将虚拟景物无缝地嵌入现实场景中，大大增强了虚拟景物存在的真实感，扩展了人们对现实场景的体验和认知。这种真实感体现在虚拟景物与现实场景的空间一致性、光照一致性和交互一致性。由于计算机与现实世界存在的巨大鸿沟，这种一致性需要通过复杂计算和设备的支持方可实现。

尽管国内外对增强现实技术的研究如火如荼，但迄今为止，增强现实技术的教科书并不多见。为此，我们编写了本书，作为高年级本科生、研究生，以及一般从事科研和开发的工程人员所使用的入门教材。

增强现实技术中所涉及的基本理论和算法涉及空间注册、相机定标理论及满足精度、速度和稳定性的实用算法。作为一本面向工程应用的书籍，我们不准备向读者介绍其中艰深的定标、跟踪、重建等理论，而仅对基本模型及计算策略进行比较详细的叙述，以便读者可以把握技术的现状，并将这些技术应用到与增强现实相关的工作中。此外，本书将从基础内容开始讲述相关算法，以免读者反复查阅参考文献。增强现实中的呈现设备也非常重要，但是涉及光学、电子、机械等多个学科的内容，因此不作为本书的主要内容。

本书汇聚了增强现实前沿的、核心的基础算法。全书共分为11章。第1章概述增强现实技术的全貌，介绍增强现实的基本概念、简史、呈现模式、应用领域及与虚拟现实的关系。第2章介绍空间几何的表示及其变换关系、相机的几何模型及如何通过单幅图像来恢复相机的内、外部参数。第3章讲述通过平面标志实现空间注册的增强现实方法，并介绍主要的实验工具，读者借此即可实现简单的增强现实算法。第4章讲述增强现实中如何通过空间点定位来实现空间注册与定位，并简要介绍常用的传感器技术及系统。第5章介绍图像中的特征检测、匹配的基础理论和方法，为基于视觉的空间注册技术奠定基础。第6章主要讲述基于视频序列的静态场景定标理论和方法，介绍相机的多视角几何模型及静态场景的有限重构技术，通过立体视觉、多视点几何及深度图等，重构现实场景中与虚拟物体发生关系的部分。第7章讲述虚实环境融合一致性的基本概念与特点，简要介绍真实感绘制技术、基于空间注册的遮挡处理及空间增强现实技术。第8章讨论真实场景光照重建的基本方法。第9章讲述虚实场景间的光影交互和融合，特别是虚实场景间阴影、镜面映射交互效果的模拟方法。第10章介绍增强现实中常用的图像融合方法，以获得画面视觉的良好效果。第11章简要介绍增强现实环境中的交互技术，讲述用户与虚拟物体的交互手段，以及虚拟物体与现实场景的交互方法。在每章的后面，概要地列出了相关主题在近年的研究成果，并给出了相关文献。为了让读者加深理解，每章的最后给出了一些习题。

本书可作为48课时的教学安排，也可作为32或64课时的教材。作者制作了相应的教学PPT，供教师授课时选用。本书采用分工合作的方式编写，第1、2、4、6、11章由山东大学软件学院秦学英撰写，第3、5、10章由山东大学计算机学院钟凡撰写，第7~9章由四川大学计算机学院刘艳丽和邢冠宇撰写。浙江大学CAD&CG国家重点实验室彭群生参与了本书的策划和组织，提出了许多重要的建议，并审定了全书的内容。在本书的编写过程中，姜新波、李佳宸参与了本书的插图绘制和文稿整理。

本书由科技部重点研发计划与自然科学基金委资助出版。在本书的编写过程中，得到了同行们的大力支持和指导，在此一并表示衷心感谢！

由于作者水平有限，书中的错误和疏漏在所难免，恳请读者批评指正。

作者2023年1月

本书是一本讲述增强现实基本原理和算法的教材。全书共分为11章。首先介绍增强现实基本模型和原理、空间变换与相机模型。然后介绍增强现实所必需的空间注册与跟踪算法，包括基于平面标志的方法、基于3D点跟踪的方法、视频序列跟踪及有限重建方法等。在此基础上，讲解了增强现实中的虚实融合技术和空间增强现实技术，包括虚拟物体的绘制、虚实物体间的遮挡处理、光照环境的恢复、阴影的生成及图像融合。后简单介绍增强现实环境中的人机交互技术。 本书的特点是： 针对增强现实中主要原型的基础算法进行介绍，重视基本原理和基本算法的陈述。为了便于复习和提高应变能力，各章都附有习题，并在扩展阅读部分提供深入学习相关内容的文献和发展方向。全书力求简单易懂，基础全面，便于自学。 本书可作为高等院校相关专业高年级本科生的教材，也可作为从事增强现实领域技术开发的广大科技工作者自学的入门书籍。

秦学英, 山东大学软件学院教授，博士生导师。主要从事增强现实中的计算机视觉、图像视频分析等智能感知算法的研究。2009年获山东省自然科学杰出青年基金资助。近年来从事的主要研究工作包括：增强现实装配指导、三维物体跟踪与位姿估计、虚实融合与光照感知、肢体动态语义分析及虚实交互等。主持国家863课题、国家自然科学基金等10余项，曾作为技术骨干参与两项973项目和多项国家重点研发计划。研究成果在ACM TOG, IEEE TIP, IEEE TVCG, IJCAI, IEEE VR, IEEE CVPR, ACM MM等国际期刊和国际会议上发表。

刘艳丽，四川大学计算机学院教授，博士生导师，目前担任视觉合成图形图像技术国防重点学科实验室副主任、中国计算机学会虚拟现实与可视化专委会委员、中国图象图形学会智能图形学专委会委员。长期从事虚拟现实/增强现实、计算机图形学与计算机视觉等领域交叉方向的研究。其中，在面向增强现实的光影重建与高精度定位等方面的研究处于国际前列。相关研究成果在国内外权威学术期刊和会议上如TVCG、TMM、ACM MM等上发表论文50余篇。先后主持和主研多项国家自然科学基金、国家863计划课题、国家科技支撑计划课题、省部级课题和企业合作项目。目前担任《虚拟现实与智能硬件》(中英文)编委、《工程科学与技术》（原《四川大学学报（工程科学版）》编委。2012年获得陆增镛CAD&CG高科技奖，2019年获得四川省海外高层次留学人才称号，2021年荣获四川大学中青年科技领军人才称号。

钟凡，山东大学计算机学院副教授，硕士生导师，山东大学未来学者。2010年毕业于浙江大学，获应用数学专业理学博士学位，主要研究方向为增强现实与计算机视觉，在图像视频分割与融合、三维物体跟踪等方面取得了较为突出的进展，研究成果在IEEE CVPR，ACM ToG，IEEE TIP，IEEE TVCG, IEEE VR等顶级国际期刊和国际会议上发表。

邢冠宇，四川大学副教授，硕士生导师，2013年6月于浙江大学CAD&CG国家重点实验室获理学博士学位，2015年12月-2016年12月赴美国Temple University开展访问学者工作。长期从事计算机图形学、计算机视觉、虚拟现实与增强现实方面的研究，在IEEE TVCG、CGF、PG等计算机图形学重要期刊和会议上发表论文二十余篇。目前，主持国家自然科学基金项目两项，参与并完成多项国家973项目、国家863项目。

第1章增强现实概述

1．1增强现实的基本概念

1．2增强现实简史

1．3增强现实的呈现

1．3．1头盔显示器

1．3．2智能眼镜

1．3．3屏幕穿透式显示器

1．3．4空间增强现实

1．3．5遥在

1．4增强现实应用

1．4．1教育与培训

1．4．2医疗

1．4．3军事

1．4．4智能制造

1．4．5市场营销

1．4．6娱乐游戏

1．4．7通信

1．5增强现实与虚拟现实

扩展阅读

习题

第2章空间变换与相机模型

2．1增强现实中的空间

2．1．1空间坐标系

2．1．2空间关系的表示

2．1．3增强现实环境的坐标系

2．2空间变换与坐标变换

2．2．1刚体变换

2．2．2空间线性变换及对应矩阵

2．3相机的几何模型

2．3．1针孔相机模型

2．3．2相机成像模型

2．3．3相机畸变模型

2．4单视图定标基础

2．4．1投影矩阵的标定

2．4．2由投影矩阵估计内外部参数

2．4．3相机径向畸变校正

2．4．4投影仪与相机的校准

扩展阅读

习题

第3章基于平面标志的空间注册

3．1系统概述

3．2平面位姿估计

3．2．1单应性矩阵

3．2．2求解单应性矩阵

3．2．3从单应性矩阵分解旋转和平移

3．3平面标志的检测

3．4虚拟物体绘制

扩展阅读

习题

第4章基于3D点的空间注册

4．13D点定位

4．1．1三角定位法

4．1．2三边定位法

4．1．3航位推算法

4．1．4摄影测量法

4．2空间变换估计

4．2．1基于3D3D点对应的直接法

4．2．2基于3D3D点对应的刚体运动估计法

4．2．3基于3D2D点对应的方法

4．2．4基于形状匹配的方法

4．3增强现实中的注册跟踪

4．3．1增强现实显示器的配置

4．3．2虚拟物体注册

4．3．3增强现实中的空间变换

4．3．4常用传感器

4．3．5时间延迟问题

4．4注册跟踪系统

4．4．1基于传感器的定位跟踪

4．4．2基于视觉的定位跟踪

4．4．3混合定位跟踪

扩展阅读

习题

第5章特征点的检测与匹配

5．1特征检测基本原理

5．1．1角点检测

5．1．2斑点检测

5．1．3尺度不变性

5．2特征匹配基本原理

5．2．1处理像素值变化

5．2．2旋转不变性

5．3特征检测与匹配的代表性方法

5．3．1SIFT特征

5．3．2SURF特征

5．3．3ORB特征

5．4基于特征点对应的位姿估计

5．4．1鲁棒最小二乘

5．4．2随机采样一致性算法

5．5连续特征跟踪

扩展阅读

习题

第6章基于视频序列的空间注册

6．1双视图几何基础

6．1．1对极几何理论

6．1．2基础矩阵计算

6．1．3投影矩阵计算

6．1．43D稀疏重构

6．2图像序列的定标

6．2．1由运动恢复结构

6．2．2集束调整

6．2．3定标算法框架

6．2．4相机的实时跟踪

6．2．5SLAM简介

6．3空间有限重建

6．3．1有限重建的意义

6．3．2基于体元的重建

6．3．3场景重建的主要方法

6．3．4场景平面检测

6．4基于多视图的重建

6．4．1立体视觉原理

6．4．2双视图像的正则化

6．4．3稠密点重建

6．4．43D表面模型

扩展阅读

习题

第7章虚实融合中的一致性

7．1虚实融合中的一致性概述

7．1．1一致性的条件

7．1．2虚实融合的框架和流程

7．2虚实融合一致性相关的绘制技术

7．2．1真实感光照明模型

7．2．2绘制方程

7．2．3虚拟景物的实时绘制技术

7．2．4阴影生成技术

7．2．5可见性检测

7．3遮挡处理

7．3．1静态前景遮挡处理

7．3．2动态前景遮挡处理

7．4空间增强现实介绍

7．4．1投影系统与3D实体的几何校准

7．4．2投影系统与3D实体的颜色校准

7．4．3在任意表面上的图像投射

扩展阅读

习题

第8章真实场景的光照重建

8．1真实场景光照重建特点

8．1．1室外场景

8．1．2室内场景

8．2基于采集的光照重建方法

8．3基于参数求解的光照重建方法

8．3．1真实场景光照建模

8．3．2基于简化光照模型的光照参数求解算法

8．3．3较为完善的光照参数求解算法

8．3．4其他光照参数求解方法

扩展阅读

习题

第9章虚实场景间的光影交互与融合

9．1虚实景物间阴影的交互与融合

9．1．1阴影的概念及作用

9．1．2真实阴影的检测

9．1．3虚实阴影交互与融合方法

9．2虚实场景镜面映射效果交互与融合

9．2．1真实场景在虚拟物体表面上的镜面映射

9．2．2虚拟物体在真实场景表面上的镜面映像

9．2．3虚实场景镜面映射效果融合方法

扩展阅读

习题

第10章增强现实中的图像融合

10．1图像融合与增强现实

10．2基于抠像合成的图像融合

10．2．1图像合成

10．2．2蓝幕抠像

10．2．3自然图像抠像

10．3其他融合方法

10．3．1多分辨率融合

10．3．2基于图割的融合

10．3．3泊松融合

扩展阅读

习题

第11章人机交互与应用

11．1AR交互概述

11．1．1人机交互的概念与基本模式

11．1．2人机交互的发展历史

11．1．3增强现实环境中交互的特点

11．2用户与虚拟物体的交互

11．2．13D交互

11．2．2虚拟现实的交互设备

11．2．3自然交互

11．3虚拟物体与现实环境的交互

11．3．1实体交互界面

11．3．2标志物驱动的交互

11．3．3虚拟物体在现实中的几何约束

11．3．4虚拟角色在现实中的语义约束

11．4增强现实的开发平台

扩展阅读

习题

参考文献

附录A优化方法

A．1线性最小二乘法

A．2齐次线性最小二乘法

A．3高斯牛顿最小二乘法

附录B旋转矩阵的优化

附录CPnP问题的雅可比矩阵

附录D基础矩阵的一般性推导

附录E图片参考来源

本书结合作者多年教学经验编写，全面讲解增强现实基本原理和算法，配套课件、大纲、教案、习题答案和视频演示，方便教与学