课堂学习行为的视觉感知与分析

图书标准信息

• 作者 刘海
• 出版社 电子工业出版社
• 出版时间 2023-06
• 版次 1
• ISBN 9787121456282
• 定价 95.00元
• 装帧 其他
• 开本 16开
• 页数 208页
• 字数 241千字

【内容简介】

本书致力于在课堂学习行为分析这一精细领域利用基于深度学习的计算机视觉技术推动教育智能改革，为实现个性化教学、提升教学质量、促进教育公平提供一系列方法和策略。本书系统的介绍了计算机视觉技术与课堂学习行为相结合的这一必然发展趋势，从数据集构建、关键技术的模型方法提出、精准的应用实施三个方面展开了细致的论述。其中涉及的计算机任务主要包括面部表情识别、视线估计、头部姿态估计以及人体姿态估计，通过总结过去十余年课题组在这些方面的实践经验，以期为国内探索实现规模化教育与个性化培养的有机结合提供一定的借鉴和指导。

【作者简介】

刘海，在课堂学习行为分析、学习资源适配、机器学习、数据挖掘、智能信息处理、计算机视觉等方面具有良好的研究基础。近些年来，在国家重点研发计划、湖北省自然科学基金、\"香江学者”人才计划等项目的支持下，对上述领域进行了系统而广泛的研究，在理论研究和应用扩展方面取得了大量的成果，积累了宝贵的经验，能熟练掌握相关领域核心算法的设计与实现方法，已在国内外知名期刊和学术会议上发表了学术论文100余篇，其中以作者（通讯作者）发表SCI、SSCI、CSSCI期刊论文80余篇，中科院一区IEEE trans系列18篇，11篇入选ESI高被引论文; 申请国家发明专利30余项，授权6项。曾荣获湖北省科学技术进步一等奖（2020）、高等学校科学研究优秀成果奖（科学技术）科技进步奖一等奖（2019）。

【目录】

部分  背景与理论

第1章  背景与意义2

1.1  国家重视课堂学习行为分析的引领作用2

1.1.1  课堂学习行为分析是落实个性化培养的重要举措2

1.1.2  课堂学习行为分析是加快教育新基建的重要举措3

1.1.3  课堂学习行为分析是促进教育“以人为本”发展的重要举措4

1.1.4  其他国家在“人工智能+教育”领域的行动计划5

1.2  要解决的问题6

1.3　国内外的研究现状9

1.3.1  课堂学习行为的视觉感知9

1.3.2  分析国内外的研究现状10

1.4　视觉感知原理19

1.4.1  计算机视觉驱动的行为感知基础19

1.4.2  课堂学习行为的理解与认知21

1.4.3  课堂学习行为的智能评测21

1.5　总体研究框架22

参考文献23

第2章  学习者兴趣建模理论模型31

2.1　兴趣概念的界定与分类31

2.1.1  兴趣的概念界定31

2.1.2  不同角度的分类32

2.2　兴趣的获取方式与表示方法33

2.2.1  兴趣的获取方式33

2.2.2  兴趣的表示方法33

2.3　学习者兴趣建模34

2.3.1  学习者兴趣模型的概念框架34

2.3.2  学习者兴趣模型的表示方法37

2.4　学习者兴趣模型量化指标分析38

2.4.1  课堂注意力量化指标38

2.4.2  课堂参与度量化指标40

2.4.3  学习情感的量化指标42

2.5　学习者兴趣模型量化分析技术43

2.5.1  兴趣量化指标的采集方法44

2.5.2  单维度的兴趣指标量化技术48

参考文献52

 第二部分  关键技术

第3章  课堂学习行为数据集构建56

3.1　头部姿态的数据集56

3.1.1  采集场景设计与布置57

3.1.2  方案规划与数据采集60

3.1.3  数据后处理及数据库设计61

3.2　人体姿态的数据集63

3.3　已有的数据集64

3.3.1  面部表情图像数据集64

3.3.2  视线估计数据集的介绍66

3.3.3  头部姿态数据集的介绍68

3.3.4  人体姿态数据集的介绍70

3.4  参考鼠标轨迹数据的面部表情图像标注71

3.4.1  摄像头和鼠标轨迹数据的采集与处理71

3.4.2  标注方法的选择与数据标准的一致性检验74

3.5　数据集建立小结79

参考文献79

第4章  面部表情识别方法82

4.1　基础82

4.1.1  人工神经网络82

4.1.2  卷积神经网络86

4.1.3  图卷积神经网络88

4.1.4  标签分布学习技术91

4.2  基于高斯先验分布的表情识别方法92

4.2.1  情感标签分布设计93

4.2.3  基于标签分布学习的表情识别模型构建96

4.3  基于图卷积网络与K近邻图的面部表情识别99

4.3.1  面部表情特性的挖掘99

4.3.2  基于图卷积网络与K近邻图的情感标签分布构建102

4.3.3  K近邻图的情感标签分布构建105

4.3.4  情感标签分布建模与优化106

4.4　建议及对未来的思考108

参考文献109

第5章  视线估计方法111

5.1　基础111

5.2  基于复合损失卷积神经网络的视线估计方法112

5.3　基于头戴式设备的视线估计115

5.3.1  校准数据的准备117

5.3.2  HMD的自标定118

5.3.3  3D的PoR估计120

5.4　建议及对未来的思考121

参考文献122

第6章  头部姿态估计方法123

6.1　基础123

6.1.1  头部姿态低容忍性分析123

6.1.2  精细化头部姿态标签设计124

6.1.3  姿态表示差异性分析125

6.1.4  基于矩阵费雪分布的旋转矩阵参数化127

6.1.5  标签平滑正则化技术129

6.2　各向异性的分布学习130

6.2.1  头部姿态的两个观察及验证130

6.2.2  各向异性的姿态分布模型构建133

6.2.3  基于极大后验估计的损失函数推导134

6.2.4  基于空间权重的网络架构135

6.3　基于三元组架构的头部姿态估计137

6.3.1  三元组网络架构137

6.3.2  头部姿态精细化估计138

6.3.3  基于三元组架构的精细化头部姿态估计模型139

6.3.4  损失函数和模型优化140

6.4  基于矩阵费雪分布的头部姿态估计方法141

6.4.1  矩阵费雪分布模块构建141

6.4.2  模型架构设计142

6.4.3  损失函数和模型优化143

6.5  建议及对未来的思考144

参考文献145

第7章  人体姿态估计方法146

7.1　基础146

7.1.1  基于深度学习的人体姿态估计方法介绍146

7.1.2  目标检测148

7.1.3  非极大值抑制150

7.1.4  HRNet网络框架151

7.1.5  姿态估计回归方式152

7.2　基于骨骼线索感知的HPE模型构建153

7.2.1  基于骨骼线索感知的高斯坐标编码153

7.2.2  面向姿态估计的EHPE模型构建158

7.3　基于像素表征学习的CHRNet网络设计161

7.3.1  前背景权重组件161

7.3.2  AF1-measure评估策略162

7.3.3  CHRNet网络架构163

7.4　建议及对未来的思考163

参考文献164

 第三部分  应用与未来趋势

第8章  课堂学习行为的多模态融合168

8.1　过程性的融合168

8.1.1  多模态数据融合的层次168

8.1.2  过程性融合的关键问题169

8.2　决策性融合172

8.3　混合性的融合174

8.3.1  分层信息融合方法175

8.3.2  混合性融合176

参考文献177

第9章  应用与未来趋势178

9.1　应用1：智慧教室中的学生兴趣模型应用实例分析178

9.1.1  《酸碱盐》案例基本信息178

9.1.2  学习行为数据采集180

9.1.3  学生的课堂兴趣量化分析182

9.2　应用2：基于鼠标轨迹和面部表情的投入度分析182

9.3　应用3：基于关键点位置信息的学习者课堂状态分析机制185

9.3.1  学习者行为识别路线186

9.3.2  学习行为分析指标188

9.3.3  学习者行为状态判别系统构建189

9.4　应用4：基于头部姿态的学习者注意力感知与分析190

9.4.1  实验数据采集191

9.4.2  学习者注意力感知分析192

9.5  未来趋势195

后记197