增强现实技术与应用

本书是“高等学校软件工程专业系列教材”之一。编写过程中兼顾研究型和应用型高校人才培养的需要，本着循序渐进、理论联系实际的原则，内容以适量、实用为度，注重理论知识的运用，着重培养学生利用增强现实技术实现下一代人机交互界面的能力。本书力求叙述简练，概念清晰，通俗易懂，便于自学。对于所涉及的技术方法，力求全面，且提供详尽的参考资料供读者深入学习，是一本体系创新、深浅适度、重在应用、着重能力培养的书籍。
本书共10章，主要内容有： 增强现实技术简介、空间感知技术、位置感知技术、环境感知技术、多模态输入技术、图像反馈技术、多模态反馈技术、协同交互技术、应用架构和增强现实未来发展。本书架构如图0.1所示。读者根据兴趣和能力，可以通读全书，也可以选择部分感兴趣的章节进行阅读。

图0.1本书架构

本书同时配套有实践册，通过具体案例讲解帮助读者动手完成一个个增强现实案例。该实践册的所有代码和素材均向读者开放。
本书可作为高等学校计算机科学与技术、软件工程、数字媒体技术等相关专业的本科生教材，也可作为成人教育及自学考试用书，或作为增强现实从业人员的参考用书。
本书第1、5、6、7章由郭诗辉编写，第2、3章由潘俊君编写，第8、10章由王希海编写，第4、9章由廖明宏编写。全书由郭诗辉完成整体修改及统稿。
在本书编写过程中得到厦门大学信息学院、北京航空航天大学计算机学院和华为技术有限公司的大力支持，在此表示衷心的感谢。

本书部分内容引用了国内外同行专家的研究成果，在此表示诚挚的谢意。感谢清华大学出版社在本书出版过程中所付出的辛勤劳动。感谢在本书撰写过程中，参与讨论并提出宝贵意见的张莹莹、张浩、王贺、莫运能、张梦晗、邓清珊、郭振宇、林勇、邹文进、张培、袁飞飞、马家威、张国荣、殷佳欣、张文洋、边超、杨子建等。
由于编者水平有限，书中不当之处在所难免，欢迎广大同行和读者批评指正。
郭诗辉2021年6月

本书在全面介绍增强现实等基本知识的基础上，着重介绍增强现实系统对真实环境的感知、与用户的多模态交互以及多人协同条件下的增强现实应用。本书同时配套有实践教材，以帮助读者更好地熟悉增强现实应用的开发。 全书共分为10章： 第1章简单介绍增强现实技术以及其在不同行业的应用； 第2~4章讨论增强现实系统如何感知并且理解真实世界，着重讨论增强现实系统的空间感知、位置感知和环境感知过程中的关键技术； 第5~7章讨论增强现实系统如何与用户交互，既包括用户向增强现实系统输入信号，也包括增强现实系统向用户提供反馈； 第8章介绍如何实现多人协同的增强现实系统； 第9章介绍典型的增强现实系统架构，帮助读者了解如何搭建一个成熟的增强现实应用； 第10章讨论增强现实技术的未来发展。书中提供了一些增强现实的应用实例，讨论了典型的技术方法和前沿的学术进展，每章后均附有习题。 本书适合作为高等院校计算机科学与技术、软件工程、数字媒体技术等专业高年级本科生、研究生的教材，同时可供希望对增强现实、虚拟现实等增进了解的广大开发人员、科技工作者和研究人员参考。

郭诗辉，厦门大学信息学院副教授，2010年本科毕业于北京大学元培学院，2015年毕业于英国伯恩茅斯大学英国国家计算动画中心。研究兴趣主要集中在人机交互、虚拟现实等相关领域。作为项目负责人获得国家自然科学基金委青年科学基金项目、中国博士后基金委员会等项目资助，以子课题负责人参与国家自然科学基金国际（地区）合作研究项目一项。在国际会议ACM CHI、ISMAR等发表论文近三十篇。

第1章增强现实技术简介

1.1增强现实的定义

1.2增强现实技术的发展历史

1.3增强现实技术发展趋势

1.3.1增强现实的兴起原因

1.3.2增强现实关键技术趋势

1.4虚拟现实、增强现实和混合现实

1.4.1虚拟现实

1.4.2增强现实

1.4.3混合现实

1.5增强现实主流硬件平台

1.5.1手持式设备

1.5.2头戴式设备

1.6增强现实主流软件平台

1.6.1AR Engine 

1.6.2ARCore 

1.6.3ARKit 

1.6.4Vuforia 

1.7增强现实的应用领域

1.7.1游戏领域 

1.7.2教育领域

1.7.3医疗领域

1.7.4语言领域

1.7.5建筑领域

1.7.6旅游领域

1.7.7广告领域

1.7.8交通领域

1.7.9工业领域

小结

习题

第2章空间感知技术

2.1三维空间基础知识

2.1.1向量与坐标

2.1.2变换矩阵

2.1.3坐标系

2.1.4坐标系的表示方法与旋转顺序

2.2坐标系变换

2.2.1世界坐标系与相机坐标系之间的变换

2.2.2世界坐标系与物体坐标系之间的变换

2.2.3相机坐标系与图像坐标系之间的变换

2.2.4图像坐标系和像素坐标系之间的变换

2.2.5左右手坐标系之间的转换

2.3标识与位姿

2.3.1常见人工标识系统

2.3.2依照标识计算摄像机的位姿

2.4自然特征标识

2.4.1自然特征提取匹配算法

2.4.2利用特征点的跟踪

小结

习题

第3章位置感知技术

3.1定位技术简介

3.2SLAM技术简介

3.3常见SLAM系统介绍

3.3.1激光SLAM

3.3.2视觉SLAM系统

3.3.3RGBD SLAM

3.3.4结合惯性传感单元的SLAM方法

3.4视觉里程计

3.4.1系统整体回顾

3.4.2地图初始化

3.4.3跟踪

3.4.4局部建图

3.4.5回环检测

3.5视觉惯性里程计

3.5.1单目VIO初始化

3.5.2紧耦合重定位模块

3.5.3全局位姿图优化

3.5.4如何在手机平台取得优异的实时性能

3.6辅助定位技术

3.6.1全局位置跟踪和导航

3.6.2局部位置跟踪与导航

小结

习题

第4章环境感知技术

4.1环境感知技术简介

4.2物体识别

4.2.1物体识别简介

4.2.2物体识别步骤

4.2.3物体识别方法

4.3物体分割

4.3.1物体分割简介

4.3.2物体分割技术分类

4.3.3典型方法

4.4手势识别

4.4.1手势识别简介

4.4.2手势识别技术分类

4.4.3典型方法

4.5人体姿态识别

4.5.1人体姿态识别简介

4.5.2典型方法

4.6三维重建

4.6.1三维重建简介

4.6.2三维重建技术分类

4.6.3典型方法

4.7显著性分析

4.7.1显著性分析简介

4.7.2典型方法

小结

习题

第5章多模态输入技术

5.1多模态输入概述 

5.2键盘输入

5.3语音输入

5.4体感输入

5.5眼神输入

5.6多模态融合

小结

习题

第6章图像反馈技术

6.1人类视觉机制

6.2头戴式增强现实成像技术

6.2.1光学透视

6.2.2视频透视

6.3增强现实成像技术常见分类

6.4增强现实关键渲染技术

6.4.1实时渲染

6.4.2光照一致性

6.4.3物体相互间遮挡

6.4.4视图管理

6.4.5场景加速

小结

习题

第7章多模态反馈技术

7.1多模态反馈技术概述

7.2听觉

7.2.1听觉机制

7.2.2增强现实中的声音输出

7.3触觉

7.3.1触觉机制

7.3.2增强现实中的触觉输出

7.4嗅觉

7.4.1嗅觉机制

7.4.2增强现实中的嗅觉输出

7.5味觉

7.5.1味觉机制

7.5.2增强现实中的味觉输出

7.6多感官融合输出

小结

习题

第8章协同交互技术

8.1协同交互技术简介

8.2主流AR软件中的协同交互技术

8.2.1Skype

8.2.2Spatial

8.2.3Holoportation

8.2.4基于移动设备的AR协同交互技术

8.3协同交互的核心特点与特征

8.3.1注册与跟踪

8.3.2协同交互技术

8.3.3共情技术

小结

习题

第9章应用架构

9.1应用架构简介

9.1.1门户服务器逻辑架构

9.1.2场景服务器逻辑架构

9.1.3客户端逻辑架构

9.1.4通信机制

9.2增强现实应用的主要功能

9.2.1数字资产创建、加载、保存

9.2.2数字资产权限管理

9.2.3场景漫游式交互

9.2.4场景编辑式交互

9.2.5用户间交互

9.3服务器端概念架构

9.3.1应用逻辑层

9.3.2数据资产层

9.4客户端概念架构

9.4.1传感设备驱动层

9.4.2传感数据表达层

9.4.3反馈数据表达层

9.4.4反馈设备驱动层

9.5以HUAWEI AR Engine为例的架构分析

9.5.1HUAWEI AR Engine架构

9.5.2典型AR应用架构

9.5.3示例应用架构

小结

习题

第10章增强现实未来发展

10.1增强现实未来发展概述 

10.2增强现实与5G通信、云计算、边缘计算

10.3增强现实与人工智能

10.3.1加速场景理解和建模

10.3.2实现个性化交互

10.4增强现实与物联网

小结

习题

参考文献