虚拟现实与现实

　　当前，计算机、人工智能、新一代通信与传感器等技术加快提升了制造业数字化、智能化、网络化的水平，从根本上提高了工业知识产生和利用的效率。虚拟现实(VR)和增强现实(AR)技术作为新一代的人机交互界面, 成为先进的制造技术，像机器人、3D打印和物联网一样，正以创新的方式被使用，是智能制造重要的使能技术。随着智能制造的快速推进，VR/AR技术正在重塑制造领域，在制造全生命周期发挥不可替代的作用，可以提高设计功能和性能，洞察制造过程使之透明化，使得人机协同更加高效。
　　VR/AR的主要技术基础是计算机图形学，同时还涉及计算机其他学科、认知科学、电磁、机械等多学科。在智能制造工程类专业开设VR/AR课程是非常必要的。本书共分为8章，首先介绍VR/AR的发展历史和相关概念，然后按照制造系统中虚实融合的步骤展开： 从场景的几何建模、虚拟场景搭建，到真实感渲染的基本流程、场景中的动画； 再接着介绍人机交互技术，利用VR/AR和科学计算可视化进行集成等，最后给出常见的VR/AR开发方法。
　　全书主要部分由东华大学鲍劲松教授负责撰写，第3章由上海交通大学武殿梁副研究员撰写。本书涉及的图形学相关内容参考了美国斯坦福大学的课程cs148、cs248、cs468、ee267,加利福尼亚大学圣塔芭芭拉分校的课程cs184，加利福尼亚大学圣迭戈分校的课程cse167，乔治梅森大学的课程15462，北卡罗来纳大学的课程comp575，布朗大学的课程cs123，以及英国剑桥大学的课程1819等内容。另外，东华大学的刘天元、丁志昆、刘世民、卢山雨、江亚南、吕其彬、胡富琴等博士、硕士研究生参与了本书文献检索、公式校核和图表等编辑工作，魏静庵、丁志昆、卢山雨提供了本书的案例代码，在此表示感谢。同时，感谢上海交通大学的杨旭波教授，蔡鸿明教授，华中科技大学的王俊峰教授，同济大学的贾金原教授对本书提出的宝贵意见。
　　本书中涉及的相关随书代码、例程，可通过右侧二维码扫描获取。
　　由于时间仓促，作者知识浅陋，不足之处敬请广大读者指正。

作者
2022年12月于沪上

数字化技术是智能制造的核心，基于VR/AR的可视化技术则是智能制造的先进载体。介绍基于VR/AR在数字化设计的可视化技术；制造过程的人机交互、虚拟装配、数据可视化技术；以及智能制造的水平集成和垂直集成中VR和AR关键技术；并介绍应用和开发技术，介绍应用实例。本书主要内容包括：介绍基于VR/AR的数字化制造的基础理论与技术支撑体系；然后给出关键支撑技术和使能技术；从智能制造的设计、制造、服务的全生命周期角度，展开行业领域的VR/AR的智能制造应用新方法；最后介绍国内外主流的工具集，开发工具和实施方法。

鲍劲松，东华大学智能制造研究所所长，教授，博士生导师。上海交通大学工学博士学位，美国南加州大学访问教授。2002-2015年上海交通大学机械与动力学院工作。现任上海市图形学会常务理事，主要从事智能制造系统、工业智能技术和VR/AR领域研究。主持科技部重点研发计划1项、国家自然科学基金面上项目2项、工信部智能制造专项项目8项。出版专著3部，发表论文60余篇。

第1章虚拟/增强现实技术基础
1.1概念与发展历史
1.1.1定义
1.1.2VR/AR的特点
1.1.3VR/AR的发展
1.2VR/AR的沉浸原理
1.2.1深度暗示
1.2.2自然人机交互
1.2.3虚实融合
1.3VR/AR系统与组成
1.3.1VR系统
1.3.2AR系统
1.4面向制造的VR/AR典型应用
习题
参考文献

第2章三维几何表达与处理
2.1三维模型数据及处理
2.1.1概述
2.1.2三维多边形网格
2.1.3三维点云
2.2常用的三维网格模型文件
习题
参考文献

第3章三维虚拟场景
3.1坐标系与坐标变换
3.1.1坐标系统
3.1.2坐标变换
3.2三维场景图
3.2.1一个简单三维场景
3.2.2场景图数据结构
3.2.3场景图的基本要素
3.2.4场景图累积变换矩阵
3.3AR场景的虚实融合
3.3.1虚实融合概述
3.3.2相机标定技术
3.3.3虚实场景注册技术与跟踪技术
3.4场景优化
3.4.1概述
3.4.2模型优化
3.4.3场景结构优化
3.4.4场景加载优化
习题
参考文献

第4章真实感渲染
4.1图形渲染流程概述
4.2模型、视图与投影变换
4.3光栅化
4.4着色
4.4.1光源
4.4.2光线表示
4.4.3光照模型
4.5纹理
4.5.1纹理定义
4.5.2纹理映射
4.6使用Unity进行真实感渲染
习题
参考文献

第5章运动仿真与动画
5.1计算机动画概述
5.2基于关键帧的仿真动画
5.2.1关键帧动画基本方法
5.2.2关键帧动画应用
5.3基于物理的仿真动画
5.3.1粒子
5.3.2刚体运动
5.3.3柔性体仿真
5.4基于运动学的机构仿真动画
5.4.1正向运动学计算
5.4.2逆运动学计算
5.4.3虚拟人运动仿真方法
习题
参考文献

第6章工程数据可视化
6.1数据可视化概述与基本流程
6.1.1概述
6.1.2可视化流程
6.2科学计算可视化
6.2.1有限元分析数据表示
6.2.2标量场可视化
6.2.3矢量场可视化
6.2.4多物理场可视化
6.2.5基于VTK的可视化
6.3信息可视化
6.3.1信息可视化概述
6.3.2信息可视化方法
6.4数据可视化与虚拟场景融合
习题
参考文献

第7章人机交互技术
7.1人机交互概述
7.1.1概念
7.1.2流程
7.1.3技术发展
7.2人机交互输入设备与原理
7.3人机交互输出界面
7.4人机交互关键技术
7.4.1选择与操作
7.4.2漫游
7.4.3用户界面设计
7.5案例： 人机交互式虚拟维修训练
习题
参考文献

第8章VR/AR开发方法
8.1VR/AR开发概述
8.1.1VR/AR应用类型
8.1.2系统工程方法
8.2利用Unity进行系统开发
8.2.1使用PTC Vuforia软件包
8.2.2使用苹果ARKit软件包
8.2.3使用谷歌ARCore软件包
8.2.4使用微软MRTK软件包
8.3利用OpenSceneGraph进行开发
8.4基于WebXR的开发
习题
参考文献

附录术语简表

数字化技术是智能制造的核心，基于VR/AR的可视化技术则是智能制造的先进载体。介绍基于VR/AR在数字化设计的可视化技术；制造过程的人机交互、虚拟装配、数据可视化技术；以及智能制造的水平集成和垂直集成中VR和AR关键技术；并介绍应用和开发技术，介绍应用实例。本书主要内容包括：介绍基于VR/AR的数字化制造的基础理论与技术支撑体系；然后给出关键支撑技术和使能技术；从智能制造的设计、制造、服务的全生命周期角度，展开行业领域的VR/AR的智能制造应用新方法；最后介绍国内外主流的工具集，开发工具和实施方法。

鲍劲松，东华大学智能制造研究所所长，教授，博士生导师。上海交通大学工学博士学位，美国南加州大学访问教授。2002-2015年上海交通大学机械与动力学院工作。现任上海市图形学会常务理事，主要从事智能制造系统、工业智能技术和VR/AR领域研究。主持科技部重点研发计划1项、国家自然科学基金面上项目2项、工信部智能制造专项项目8项。出版专著3部，发表论文60余篇。