虚幻引擎实践篇：虚拟制片

在这个数字化和虚拟化日益普及的时代，虚拟制片技术正逐渐成为影视制作领域的一个重要分支。它不仅改变了传统的拍摄方式，还为创作者带来了无限的想象空间和创新可能。作为虚拟制片领域的一份子，我深感荣幸能够参与到这一变革之中，并将我的知识和经验通过这本教材分享给大家。
编写这本《虚拟引擎实践篇：虚拟制片》教材，我的初衷是希望能够系统地整理和介绍虚拟制片的相关知识和技术，帮助那些对此领域感兴趣的朋友们，无论是初学者还是专业人士，都能够获得全面而深入的理解。从虚拟制片的基本概念到具体的技术实现，再到高级技术的应用，本书旨在为读者提供一个清晰的学习路径。
本书是中国传媒大学-腾讯“数字艺术领军人才实验班”推出的系列教材之一。该实验班是中国传媒大学与腾讯互动娱乐事业群内容生态部联合推出的新型产业人才培养模式，其打破人才培养定式，直面媒介变革挑战，让高校工科方向与美术方向人才充分结合。不同于高校以往的单一化人才培养方式，实验班从人才选拔、人才培养、课程设计与师资、毕业设计、实习实践等方面均进行了创新改革。实验班充分联合调动行业技术方、应用方和高校能力，聘请高校名师、腾讯骨干专家以及包括Epic在内的近十家相关领域头部企业专家担任项目导师，共同研究制定了专业知识图谱、技能架构与课程体系，致力于围绕全真互联网、虚拟制片、虚拟数字人、人工智能与设计等数字艺术行业前沿领域打造校企合作实习基地，开展联合人才培养，为行业输送数字艺术高精尖人才。
在本书中，我将带领大家走进虚拟制片的世界，了解其背后的商业价值和核心技术组成。深入介绍虚拟制片的五大系统，包括实时图形渲染引擎、LED显示、摄影机跟踪、虚实场景匹配以及灯光系统，这些系统是实现虚拟制片的关键。通过对这些系统的详细解析，读者将能够掌握虚拟制片的实现原理和技术细节。
随着学习的深入，我们将进入虚拟制片的进阶阶段，探索动态场景触发、虚实场景融合等高级技术。这些技术将帮助读者实现更加逼真和自然的动态场景效果，将虚拟世界与现实世界无缝连接。
希望通过这本教材，不仅能够帮助读者掌握虚拟制片的核心技术，更希望能够激发大家的创新思维，将这些技术应用到自己的创作中，推动虚拟制片技术的发展。同时，也期待读者们能够提出宝贵的意见和建议，共同为虚拟制片技术的进步贡献力量。
最后，我要感谢校领导、院领导和同事们对我的大力支持。
感谢清华大学出版社的杨迪娜编辑为本书的立项、编排与出版付出的辛勤劳动，同时感谢清华大学出版社对本书的支持。
感谢我的家人和所有参与本书编写的同仁们，感谢刘昭辰、杨怡祺、许圣林、耿浩、陈阳、徐嘉松、张瑞柠、王森、罗龚楷等小伙伴们。
感谢在虚拟制片领域做出杰出贡献的先驱者们。
愿这本书能够成为连接过去与未来，现实与虚拟的桥梁，带领我们一同探索虚拟制片的无限可能。
祝学习愉快！

宋雷雨
2024年7月

本书对全制作流程进行了全面梳理和讲解，是一本详细介绍虚拟制片全流程的参考 书籍。
虚拟制片在进行后期前置的同时涵盖了从前期策划到成片的整体流程。全书对虚拟制片 展开了全面概述，包括类型特征、发展历程及全流程应用实施等。结合当前最前沿的虚拟  制片制作全流程，分别从实时图形渲染引擎系统、LED 显示屏显示系统、摄影机跟踪系统、 虚实场景的匹配系统和灯光系统这五大系统对虚拟制片整个实现流程进行讲解，能够为虚拟 拍摄、XR 拍摄、虚拟演播系统提供重要依据。同时还引入数字人与虚拟制片的综合应用介  绍与数字资产管理与同步规范，并展望虚拟制片未来的应用场景。
全书由具有丰富教学与实战经验的院校教师共同编写，得到国内外多家院校和企业的支 持。本书以师生实践项目为实境案例，依托院校教学，结合业界一线实战经验，具有较强的 实践指导意义，助力我国虚拟制作相关人才的培养。
本书可作为院校虚拟制作相关专业的教学用书，也可作为影视类专业从业者、在研虚拟 制片的研究者以及正在学习并期望从事虚拟制片相关业界人员的参考用书。

宋雷雨  中国传媒大学动画与数字艺术学院副教授、全国高等院校计算机基础教育研究会委员。从事数字人、虚拟偶像、虚拟制片、虚拟现实方面的研究工作，在数字影视特效等方面具有丰富的工作经验，主创作品获得飞天奖、金鹰奖、“五个一”工程奖等奖项。

第1部分虚拟制片概述
第1章 虚拟制片简介
1.1 何为虚拟制片 2
1.1.1 基本概念 2
1.1.2 商业价值 4
1.2 虚拟制片相关技术组成 7
1.2.1 三维制作技术 7
1.2.2 实时渲染技术 10
1.2.3 虚拟摄影技术 11
1.2.4 动作和面部捕捉技术 14
1.3 虚拟制片特点 16
1.3.1 视效实时化，所见即所得 16
1.3.2 优化制片流程，增效团队协作 18
1.3.3 最大程度节约成本 20
第2章 虚拟制片发展历程
2.1 电子布景概念的提出 22
2.2 动态预演的出现 22
2.3 IBC展览会上虚拟演播室技术首次亮相 24
2.4 动作捕捉和运动控制的使用：《泰坦尼克号》和《黑客帝国》 25
2.5 表演捕捉、虚拟拍摄：《阿凡达》 28
2.6 LED 虚拟制片时代的到来：《曼达洛人》 30
2.6.1 虚拟背景 31
2.6.2 实时互动 31
2.6.3 虚拟布景的细节 32
2.6.4 与实体布景的融合 32
2.6.5 特效和后期制作 33
第3章 虚拟制片类型
3.1 动态预演（可视化） 35
3.2 表演捕捉 38
3.3 混合绿幕式虚拟制片 39
3.3.1 非实时混合 39
3.3.2 实时混合 40
3.4 全实时LED虚拟制片 41
第2部分虚拟制片技术入门之虚拟制片五大系统
第4章 实时图形渲染引擎系统
4.1 实时渲染引擎系统介绍 44
4.1.1 实时图形渲染引擎的发展与特点 44
4.1.2 实时图形渲染引擎在虚拟制片中的运用 46
4.1.3 主流实时渲染引擎介绍 47
4.1.4 实时图形渲染的工作原理 50
4.2 传统渲染引擎系统介绍 50
4.2.1 传统渲染引擎的定义和工作方式 50
4.2.2 主流传统渲染引擎介绍 51
4.3 实时图形渲染引擎联合DCC开发流程与指标 54
4.3.1 原始资产开发 54
4.3.2 UE5利用外部资产搭建场景 57
4.3.3 实时渲染 60
4.4 实时图形渲染引擎中的动画系统 64
4.4.1 Sequencer 64
4.4.2 FBX导入并调整模型动画 64
4.4.3 FBX导入并调整摄影机动画 66
4.5 实时图形渲染引擎中的地形编辑工具 67
4.5.1 Landscape 67
4.5.2 使用地形模式编辑 67
4.5.3 地形编辑辅助工具 68
4.6 实时图形渲染引擎中的地形材质 68
4.6.1 分层材质 68
4.6.2 绘制材质 69
4.7 实时图形渲染引擎中的流体解决方案 69
4.8 数字资产场景搭建案例实操 73
4.8.1 新建地图和地形 73
4.8.2 基本天气系统配置 74
4.8.3 引入资产 78
4.8.4 添加植被 85
4.8.5 配置灯光 87
第5章 LED 显示屏显示系统
5.1 LED屏幕方案 93
5.1.1 直面屏（三面屏） 93
5.1.2 弧形屏（异形屏） 95
5.1.3 天幕屏（顶屏） 95
5.2 LED显示系统 96
5.2.1 像素间距（点间距） 96
5.2.2 可视角度 97
5.2.3 色域覆盖 98
5.2.4 灰度等级 99
5.2.5 刷新率 99
5.2.6 扫描数 100
5.2.7 发光阵列 100
5.3 视频信号管理器 101
5.4 LED虚拟拍摄过程中面临的挑战  102
5.4.1 摩尔纹 102
5.4.2 扫描线伪影 103
5.4.3 色彩管理 103
5.4.4 色彩还原精准度 104
5.5 工作流程指南 105
5.5.1 规划与初步框架 106
5.5.2 实拍与提升技巧 110
第6章 摄影机跟踪系统
6.1 摄影机坐标定位方案 112
6.1.1 主动式红外光学跟踪定位方案 112
6.1.2 被动式红外激光跟踪定位方案 114
6.1.3 其他跟踪方案 115
6.2 使用专业摄影机系统结合Live Link与metadata互通的解决方案 115
6.3 摄影机反求 117
6.3.1 Nuke反求摄影机 117
6.3.2 将带有摄影机动画的FBX等文件导入UE 120
6.4 摄影机参数数据与UE联动 121
6.4.1 校准机操作 121
6.4.2 UE主控机操作 125
第7章 虚实场景的匹配系统
7.1 虚拟场景的测量标准（测量单位、测量方法） 129
7.1.1 统一模型尺寸标准 129
7.1.2 UE中Landscape尺寸管理 130
7.2 虚拟场景中的透视匹配（nDisplay） 130
7.2.1 摄影机镜头校准 132
7.2.2 通过UE镜头文件完成镜头校准 134
7.2.3 使用nDisplay创建LED墙 136
7.2.4 使用ArUco对LED墙与摄像机进行匹配 137
7.3 实景辅助搭建 140
7.4 道具资产扫描 140
7.4.1 利用LiDAR或摄影测量建模创建扫描虚拟场景 140
7.4.2 利用在线数字资产库创建虚拟场景 141
7.5 使用机械装置作为辅助拍摄 141
7.6 实景与虚拟之间的色彩匹配 143
7.6.1 使用ACES色彩空间管理色彩 143
7.6.2 使用色卡与反射球检查和匹配色彩 143
第8章 灯光系统
8.1 虚拟拍摄灯光概念 145
8.2 虚拟拍摄常用灯光类型 146
8.2.1 LED屏幕 147
8.2.2 LED灯具 147
8.2.3 传统影视灯具 148
8.2.4 电脑灯 149
8.3 数字灯光系统介绍 149
8.3.1 DMX调光控制系统 150
8.3.2 网络控制系统 150
8.3.3 蓝牙控制系统 150
8.4 虚拟现实灯光连接流程 150
8.4.1 虚拟灯光与DMX控制 150
8.4.2 物理灯光与DMX控制 153
8.5 虚拟现实灯光案例分析 155
第3部分虚拟制片技术进阶
第9章 动态场景触发
9.1 灯光预设 160
9.2 可控式动态天气 162
9.3 触发式场景动态 163
9.3.1 构建场景动画 164
9.3.2 创建蓝图类 164
9.3.3 使用蓝图编辑器 164
9.3.4 添加键盘输入事件 165
9.3.5 添加场景动画节点 165
9.3.6 连接节点 165
9.3.7 配置场景动画节点 165
9.3.8 设置键盘输入事件 166
9.3.9 触发场景动画 166
9.3.10 测试场景动画 166
9.4 自然场景动态转换 167
9.4.1 时间转换 167
9.4.2 天气转换 172
9.5 场景氛围感构建 174
9.5.1 后处理材质与后处理体积 174
9.5.2 体积雾 175
9.5.3 体积云 178
第10章 虚实场景融合
10.1 常用系统简介 181
10.1.1 disguise 181
10.1.2 Zero Density 182
10.1.3 Aximmetry 184
10.1.4 UE Composure插件 185
10.2 传统绿幕式场景融合方案 185
10.2.1 实时绿幕抠像合成 185
10.2.2 非实时绿幕抠像合成 189
10.3 LED拍摄方式场景融合方案 194
10.3.1 硬件 195
10.3.2 摄像机追踪 197
10.3.3 Live Link 197
10.3.4 摄像机校准 200
10.3.5 镜头内视效的时间码和同步锁定 200
10.3.6 实时合成 201
10.3.7 颜色校正 202
10.3.8 OpenColorIO 203
10.3.9 光影匹配 204
10.3.10 舞台监视器 205
10.3.11 物体场景设计 205
10.4 场景扩展补充 206
第11章 数字人与虚拟制片的综合
11.1 数字人创建 207
11.1.1 传统创建流程 207
11.1.2 高精度点云扫描 211
11.1.3 MetaHuman 212
11.1.4 MetaHuman及其辅助制作工具 214
11.2 数字人绑定 215
11.3 动作捕捉技术 218
11.3.1 光学捕捉 218
11.3.2 惯性捕捉 219
11.3.3 机械式动作捕捉 219
11.4 视觉动作捕捉技术与数字人运动数据驱动 220
11.4.1 动捕设备数据获取 220
11.4.2 虚幻引擎与动捕设备的配置 224
第12章 数字资产管理与同步
12.1 数字资产版本管理、同步与协同 233
12.1.1 数字资产元数据管理 233
12.1.2 UE中的元数据 238
12.1.3 UE中利用元数据同步多元资产 240
12.2 UE中数字资产与Live Link metadata延伸 242
12.3 UE中的虚拟资产 243
第13章 虚拟制片的未来应用场景
13.1 影视与广告制作 244
13.1.1 更加真实的虚拟角色 244
13.1.2 更加自然的角色互动 245
13.1.3 更加真实的虚拟环境渲染 245
13.2 演唱会与直播 246
13.2.1 创新舞台设计，打造震撼的艺术体验 246
13.2.2 拓展舞台空间，打造超越时空的视觉效果 247
13.2.3 创作数字替身，延长艺术家的演出生命 248
13.2.4 提升视效体验，赋予网络直播更多可能 248
13.3 电子游戏 249
13.3.1 提供更复杂且逼真的游戏环境 249
13.3.2 提升真人影像互动游戏的制作效率 250
13.3.3 打造逼真的线下游戏空间体验 251
13.4 文化教育 252
13.4.1 实现难以触及的教学内容可视化与可操作化 252
13.4.2 推动个性化教学 253
13.4.3 实现跨地域、异步的网络教学 253
13.5 文化旅游 254
13.5.1 在虚拟现实环境中重现历史遗迹和场景 254
13.5.2 借助增强现实技术增强游览体验 254
13.5.3 借助实时渲染技术打造沉浸式文旅空间 255
13.5.4 利用LED屏技术拓展古建筑与历史场景 255
13.6 商业展示 256
13.6.1 现场呈现互动体验 256
13.6.2 虚拟服务与社交 257
13.7 训练与模拟 257
13.7.1 消防演习、飞行训练和军事模拟等危险场景的演习与应急处理训练 258
13.7.2 医疗领域中的医学教学、医学诊断和手术模拟等应用 258
后记

本书对全制作流程进行了全面梳理和讲解，是一本详细介绍虚拟制片全流程的参考 书籍。
虚拟制片在进行后期前置的同时涵盖了从前期策划到成片的整体流程。全书对虚拟制片 展开了全面概述，包括类型特征、发展历程及全流程应用实施等。结合当前最前沿的虚拟  制片制作全流程，分别从实时图形渲染引擎系统、LED 显示屏显示系统、摄影机跟踪系统、 虚实场景的匹配系统和灯光系统这五大系统对虚拟制片整个实现流程进行讲解，能够为虚拟 拍摄、XR 拍摄、虚拟演播系统提供重要依据。同时还引入数字人与虚拟制片的综合应用介  绍与数字资产管理与同步规范，并展望虚拟制片未来的应用场景。
全书由具有丰富教学与实战经验的院校教师共同编写，得到国内外多家院校和企业的支 持。本书以师生实践项目为实境案例，依托院校教学，结合业界一线实战经验，具有较强的 实践指导意义，助力我国虚拟制作相关人才的培养。
本书可作为院校虚拟制作相关专业的教学用书，也可作为影视类专业从业者、在研虚拟 制片的研究者以及正在学习并期望从事虚拟制片相关业界人员的参考用书。

宋雷雨  中国传媒大学动画与数字艺术学院副教授、全国高等院校计算机基础教育研究会委员。从事数字人、虚拟偶像、虚拟制片、虚拟现实方面的研究工作，在数字影视特效等方面具有丰富的工作经验，主创作品获得飞天奖、金鹰奖、“五个一”工程奖等奖项。