多模态人机交互技术及应用

第1章绪论

1.1多模式人机操作

1.2多模式人机协同感知规划

1.3试验验证情况

第2章多模式人机交互构成及交互方式

2.1基于多传感器测量的操作员状态监视模块

2.2多传感器融合的神经网络语义学习方法

2.3基于多传感器输入的多无人机混合主动控制模块设计

2.4监督控制系统初步实现与仿真验证

2.5总结

第3章手势识别交互

3.1手势识别传感器

3.2基于视觉特征学习的手势特征提取

3.3基于视觉特征学习的手势特征识别

3.4基于深度学习的手势识别

3.5手势在交互中的应用

3.6总结

第4章人体姿态识别交互

4.1人体骨架模型

4.2深度相机的人体骨架提取

4.3单可见光相机的人体骨架提取

4.4人体姿态识别

4.5多传感器融合的姿态识别

4.6人体姿态识别在交互中的应用

4.7总结

第5章眼动跟踪交互

5.1眼睛视线跟踪模型

5.2基于视觉的眼睛定位及状态检测

5.3眼动仪检测定位

5.4眼动跟踪交互应用

5.5总结

第6章面部表情交互

6.1表情模型

6.2面部表情特征提取方法

6.3基于深度学习的面部表情识别

6.4人脸表情识别常见传感器

6.5面部表情交五应用

6.6总结

第7章语音交互

7.1语音模型

7.2语音识别

7.3语音情感识别

7.4麦克风阵列语音交互

7.5语音交互应用

7.6总结

……

第8章脑电信号交互

第9章其他交互方式

第10章视觉感知

第11章路径规划

第12章多模式人机操作及协同感知规划实验设计

第13章人机交互安全

参考文献

第1章

绪论

人机交互操作作为混合增强智能技术发展的一个关键方向，对未来战场形

态、作战方式、遥感控制等领域起到重要的支撑作用。随着机器视觉技术、传感器、可穿戴设备及人工智能技术不断取得突破，人机交互操作的研究核心发展为利用新型交互逻辑实现人机融合，建立异源多模态的人机交互范式，实现人与装备之间的智能、自然交互,建立一体化有人-无人协同编组作战的操作机制

2018年5月9日，俄罗斯莫斯科红场的胜利日阅兵式上，一批俄罗斯新式武器闪亮登场。其中，装载在卡车上接受检阅的无人战车和无人机，更是吸引了人们的眼球。这款无人战车，便是已经在叙利亚战场上亮相的“天王星”-9无人战车(图1-1)。

“天王星”-9无人战车由俄罗斯国防部第766生产技术工艺集成配套公司于2018年研制成功。该无人战车全重为12t，车长为5.12 m，车宽为2,528 m，车高为3.73 m。动力-传动装置为油-电式，即动力装置约为207 kW的柴油机，带动发电机-电动机组，推动无人战车前进，公路最大速度可达35 km/h,土路的最大速度可达25 km/h,最大行程为200 km,可连续工作6h。它的武器系统堪称强大，包括:2A72型30 mm机关炮1门;PKTM型7.62 mm机枪1挺;攻击反坦克导弹4枚和针式防空导弹4枚。它可以为部队分队提供远程情报侦察和火力支援任务，具有对付步兵、反坦克和近程防空等作战能力。“天王星”-9无人战车采用加密无线遥控方式。操作员乘坐在移动指挥车内，利用车载的指挥自动化系统对无人战车进行实时监控和遥控操纵;无人战车会实时地把侦察到的各种信息传递到移动指挥车内。也就是说,“天王星"-9无人战车还不是自主式的无人战车，战车的开动和“生杀大权”还是由人(操作员)来掌控的。

本书的主要研究内容为：第一部分介绍常见的多模态人机交互中的传感器、每种传感器在人机交互中的功能、其中把功能划分为多模态操作员状态检测、多模态人机交互策略；第二部分介绍了手势交互、人体姿态交互、眼动跟踪交互、面部表情交互、语音识别交互、脑电信号交互的传统检测方法和基于深度学习的检测方法以及对应的交互方式；第三部为多模态的交互数据融合包括传统的多模态数据融合和基于序列的深度学习多模态数据融合；第四部分为人机交互中的智能安全主要为传感器的检测安全方面，简要介绍数据传输过程中的攻击安全问题；第五部分为多模态人机交互技术的交互评估，以提高人机交互的自然、舒适性。