基于多模态人机交互的听障者无障碍技术研究
正版保障 假一赔十 可开发票
￥ 84.23 7.8折 ￥ 108 全新
库存4件
作者赵剑
出版社科学出版社
ISBN9787030612908
出版时间2020-03
装帧平装
开本16开
定价108元
货号28536453
上书时间2024-11-29
商品详情
- 品相描述：全新
- 商品描述
-
前言
高级人机交互的计算理论研究是国家重点基础研究发展计划中的重要组成部分，多模态人机交互模型是该领域的研究热点和前沿，可视语音、不可视语音技术是其中的关键技术。身体缺陷给残障者在生活、学习、工作、交流上造成了各种困难。而目前的信息产品及信息服务，特别是人机交互方式都是针对普通人设计的，考虑残障者的无障碍应用需求的较少。这种现状使残障者无法像普通人那样享受信息技术带来的便利，在社会生活中面临被边缘化的危险。如果不采取有效措施，如此庞大的残障人群在信息化社会中的生存和发展将会受到进一步制约，无法真正融入现代信息社会中。显然，只有采用科技手段，研发适合残障者无障碍融入社会的装置，才能从根本上消除残障者面临的上述困境。
本书第0篇（第1章）为基础篇，对多模态技术及无障碍技术进行概述。第1篇（第2～第6章）论述基于多模态人机交互的言语康复无障碍技术。第2篇（第7章、第8章）论述基于多模态人机交互的听力障碍（简称听障）学生融合教育无障碍支撑体系。第3篇（第9章、第10章）论述基于多模态人机交互的听障者生活无障碍技术。
从2008年跟随王丽荣老师创立吉林省残疾人康复设备及技术科技创新中心开始，作者及其团队在残障者康复及残障者无障碍研究方向坚持奋斗了十余年。从听障者言语康复开始，将可视语音等多模态技术引入康复领域，结合现代信息技术中的人工智能、物联网、群智计算等将无障碍技术扩展至融合教育、生活无障碍、交流无障碍等领域，形成了以多模态人机交互为核心，结合其他信息技术的听障者无障碍理论与技术系列研究成果。
十年磨一剑，作者衷心感谢关爱听障人群的所有爱心人士，感谢科研路上的引路人——欧阳丹彤老师、王丽荣老师、林君老师、卜佳俊老师。感谢本书中应用的技术、方法、算法的研发先驱，没有他们的技术成果，许多无障碍困难很难解决。感谢长春大学提供残障康复领域的专业平台、实验设备、专业团队，没有良好的前期基础、良好的实验室环境、优秀的科研团队，许多难题就无法解决。
感谢吉林省残疾人康复设备及技术科技创新中心陈岱民教授、宋雅娟教授、张超副教授、张猛副教授、邹忌副教授的帮助和指导，感谢听障康复技术研究室的秦宏伍、杜钦生、车娜、徐大伟、刘冬梅，没有你们的陪伴和支持我们很难战胜科研路上的荆棘。
感谢研究生王柳、孙园园、邱金平、张莹、周尚、徐虎、赵迪、李丹丹、赵一飞、王思博、任林等在对书稿进行后编辑和校正的过程中付出的辛苦，特别感谢王柳的辛勤付出。
本书的出版得到国家自然科学基金项目“面向聋儿言语康复的多模态人机交互模型及技术研究”（项目编号：61502052）、吉林省科技厅自然科学基金项目“面向失能患者的舌腭电极反馈人机交互模型及装置研究”（项目编号：20180101047JC）、中国博士后科学基金面上资助项目（第54批）“真实感三维汉语可视发音在聋儿言语康复中的应用研究”（项目编号：2013M541298）等项目的支持，在此表示衷心感谢。
感谢科学出版社的支持，感谢科学出版社编辑付出的努力。
后感谢父母、兄长、妻儿，谢谢家人一直以来的关心与支持，也希望这一点微不足道的研究成果，可以作为对他们无尽的爱的一份小小回馈。
作者在撰写本书的过程中非常艰辛，耗时两年之久，由于知识水平有限，书中可能存在一些疏漏之处，请各位读者多提宝贵意见。长春大学计算机科学技术学院
吉林省残疾人康复设备及技术科技创新中心
吉林省人体健康状态辨识与机能增强重点实验室
赵 剑
2019年1月于长春大学
导语摘要本书主要研究利用先进的信息技术和手段，消除残障者在言语康复、教育学习、生活及交流中所遇到的各种障碍，将可视语音等多模态技术引入康复领域，结合现代信息技术中的人工智能、物联网、群智计算等将无障碍技术扩展到融合教育、生活无障碍、交流无障碍等领域。本书研究内容主要包括：应用可视语音及虚拟现实技术解决听障儿童言语康复难题；应用多模态交互技术研究听障学生高等教育课堂教学辅助装置，解决听障学生融入正常课堂无障碍学习难题；应用群智计算技术与多模态技术解决听障者与健听者无障碍交流难题。
本书可以作为人机交互、康复工程与技术、残障者无障碍技术等相关专业的本科生、研究生的教材或参考书，也可作为相关工程技术人员和研究人员的参考书。
作者简介赵剑，博士后、副教授、硕士研究生导师，吉林省中青年科技领军人才、吉林省第七批拔尖创新人才第三层次、吉林省残障无障碍技术及智能设备创新团队负责人、吉林省人体健康状态辨识与机能增强重点实验室副主任、中国青年科技工作者协会信息与电子科学委员会委员、中国计算机学会会员、中国电子学会嵌入式系统与机器人分会委员。主要从事人工智能、人机交互、虚拟现实、康复工程等研究。主持科研项目18项，包括国家自然科学基金、博士后科学基金、教育部项目、省科技厅项目等。申请专利20项、计算机软件著作权46项，发表论文56篇，出版专著2部、教材1部，参与制定国家标准1项。获吉林省科技进步奖三等奖2项，长春市科技进步奖一等奖1项，吉林大学博士后奖。
目录目录
第0篇 基础篇
第1章 绪论 3
1.1 基于多模态人机交互的听障者无障碍技术研究背景 3
1.1.1 社会背景 4
1.1.2 应用背景 4
1.2 多模态人机交互技术研究现状 5
1.2.1 多模态人机交互技术国外发展现状 6
1.2.2 多模态人机交互技术国内发展现状 6
1.3 无障碍技术研究现状 7
1.3.1 言语康复无障碍技术研究现状 7
1.3.2 融合教育无障碍技术研究现状 9
1.3.3 生活无障碍技术研究现状 11
1.4 本书主要研究内容及章节安排 13
参考文献 14
第1篇 基于多模态人机交互的言语康复无障碍技术研究
第2章 基于可视语音的言语康复无障碍方法研究 19
2.1 基于三维扫描数据的三维可视语音人脸建模 19
2.2 三维扫描数据获取及预处理 21
2.2.1 三维激光扫描技术的基本原理 22
2.2.2 人脸点云数据获取的采集环境设置 22
2.3 三维点云数据预处理 24
2.4 三维扫描数据与通用人脸模型的匹配 25
2.4.1 人脸模型特征点提取 26
2.4.2 人脸模型几何变形 26
2.4.3 人脸模型纹理映射 27
2.5 三维人脸动态特征提取 28
2.5.1 系统框架 29
2.5.2 基于人脸运动捕捉技术的面部及唇部信息提取 29
2.5.3 面向听障儿童言语康复训练的人脸特征点标记排布方式 30
2.5.4 人脸模型驱动方法研究 32
2.6 基于汉语三维可视语音库的听障儿童发音康复方法 38
2.6.1 汉语三维可视语音库建立 38
2.6.2 基于汉语三维可视语音库的发音康复过程 41
2.7 语音康复标准 43
2.8 本章小结 44
参考文献 44
第3章 基于不可视语音的多模态言语康复无障碍方法研究 45
3.1 不可视语音概念 45
3.2 人舌腭三维建模方法 47
3.2.1 基于生理结构的三维舌部建模 48
3.2.2 人舌肌肉模型的几何描述 50
3.2.3 舌部模型控制 52
3.3 基于动态腭位的舌部发音运动 54
3.3.1 基于动态腭位的舌部数据采集 55
3.3.2 建立EPG对应音素的发音样本 55
3.4 听障儿童言语康复中基于动态腭位的人舌模型驱动方法研究 57
3.4.1 面向听障儿童多模态言语康复的动态腭位样本数据库的建立 58
3.4.2 改进的腭位参数描述 59
3.4.3 参数设置 63
3.4.4 舌部模型驱动动作合成 65
3.4.5 实验及结果分析 66
3.5 本章小结 69
参考文献 69
第4章 基于多模态人机交互的言语康复呼吸训练无障碍技术研究 71
4.1 多模态呼吸训练方法 72
4.1.1 传统的呼吸训练方法 72
4.1.2 PC端和移动智能终端训练方法 73
4.1.3 计算流体力学训练方法 73
4.1.4 VR沉浸式呼吸训练方法 74
4.2 基于多模态人机交互的言语康复呼吸训练系统研究 75
4.2.1 系统总体设计方案 75
4.2.2 系统硬件设计 78
4.2.3 系统软件设计 83
4.2.4 系统工作流程 84
4.3 本章小结 86
参考文献 86
第5章 基于多模态人机交互的言语康复训练软硬件系统 87
5.1 引言 87
5.2 基于移动智能终端和PC端的双端听障康复训练系统 87
5.2.1 NFC技术 88
5.2.2 双端系统构造 88
5.2.3 系统的连接 90
5.3 基于移动智能终端的听障儿童言语康复训练系统 91
5.3.1 系统视频数据采集 91
5.3.2 系统音频数据采集 95
5.3.3 建立移动智能终端康复训练软件系统 97
5.3.4 系统设计及工作原理 100
5.4 Kinect和Faceshift技术与听障儿童言语康复训练系统 103
5.4.1 Kinect相关技术 103
5.4.2 Faceshift相关技术 104
5.4.3 三维会话头像模型的建立 104
5.4.4 Kinect和Faceshift技术的数据合成 104
5.4.5 三维会话头像模型的驱动方法 105
5.4.6 系统评价及分析 106
5.5 本章小结 108
参考文献 108
第6章 面向言语康复的多模态人机交互模型 109
6.1 引言 109
6.2 多模态人机交互模型 110
6.2.1 多模态人机交互信息输入 110
6.2.2 多模态交互信息融合和处理 111
6.2.3 多模态人机交互信息反馈 112
6.3 多模态人机交互模型在听障儿童言语康复中的应用 113
6.3.1 多模态人机交互模型 114
6.3.2 多模态人机交互言语康复训练系统 114
6.3.3 面向言语康复的多模态人机交互模型 116
6.4 多模态人机交互模型在听障儿童言语康复中的应用效果 118
6.4.1 言语康复训练内容对多模态人机交互方法的影响 118
6.4.2 各交互方式间的对比实验 119
6.4.3 一对N训练模式下各多通道交互模式的对比实验 120
6.4.4 不同年龄阶段的听障儿童对系统的使用效果 121
6.4.5 用户体验分析 122
6.4.6 实验结果及分析 123
6.5 本章小结 123
参考文献 124
第2篇 基于多模态人机交互的听障学生融合教育无障碍支撑体系
第7章 基于多模态人机交互的听障学生融合教育课堂无障碍体系研究 127
7.1 多模态人机交互在融合教学中的应用 127
7.1.1 多模态教学模式 127
7.1.2 多模态人机交互在融合教学中的应用 128
7.2 融合教育课堂现存问题 128
7.3 听障学生融合教育课堂无障碍系统 130
7.3.1 听障学生融合教育课堂无障碍系统工作流程及系统框架 131
7.3.2 听障学生融合教育课堂无障碍系统的技术 133
7.3.3 听障学生融合教育无障碍课堂体系 143
7.4 听障学生融合教育课堂无障碍系统的应用效果 148
7.4.1 系统的外界影响因素 149
7.4.2 系统的使用效果 151
7.5 本章小结 154
参考文献 155
第8章 多模态听障学生融合无障碍在线教育系统研究 156
8.1 国外在线教育的发展现状 156
8.2 国内在线教育的发展现状 157
8.3 多模态听障学生融合无障碍在线教育系统的基本框架 160
8.3.1 多模态听障学生融合无障碍在线教育系统的相关标准 160
8.3.2 多模态听障学生融合无障碍在线教育系统的设计原则 161
8.3.3 多模态听障学生融合无障碍在线教育系统的设计策略 162
8.3.4 多模态听障学生融合无障碍在线教育系统的需求分析 164
8.3.5 多模态听障学生融合无障
— 没有更多了 —
以下为对购买帮助不大的评价