驾驶辅助系统计算机视觉技术

当前，汽车工业正经历着三个重大变革：内燃机被电动机取代，车-车、车-基础设施通信一体化，以及自动驾驶的兴起。后者仍处于期望驾驶员始终控制车辆的阶段，但是所提供的车辆自动控制功能已经在很大程度上提升了安全性和驾驶员舒适度。在面对当前自动驾驶的发展时，我们更倾向于谈论驾驶员辅助系统。车辆的驾驶员辅助功能大多基于各种传感器提供的数据，如雷达、LIDAR、超声波、GPS、惯性测量单元(IMU)或摄像机。在本书中，我们将讨论摄像机在驾驶员辅助系统方面的应用。
基于计算机视觉的驾驶员辅助是一个在汽车工业和学术界新兴的技术。尽管现在已经存在一些商业应用的安全系统，如夜视、自适应巡航控制和车道偏离警告系统，但我们仍处于开发下一代智能汽车的漫长研究道路的起点。
任何高级驾驶员辅助系统(ADAS)的开发人员都关注的主要问题是：在真实驾驶场景中往往有着恶劣的照明条件，同时还需要监控驾驶员的状态和道路危险，确保系统实时响应，以及严格遵守法律的要求。
本书回顾了过去十年来的相关研究以及该领域的进展，提出了各种计算机视觉算法、技术和方法来解决上述问题与挑战。这些主要适用于解决单目视觉问题。
移动设备（如移动电话或小型计算设备）通常会配备一个或多个摄像机。 如果它们还带有立体摄像机，则通常具有较小的基线（即两个摄像机之间的距离），该基线支持立体可视化，但不支持精确的立体图像分析。作为汽车的常见附加组件，用于驾驶员监控或交通观察的专用处理单元也将从单目视觉解决方案中受益。然而，我们对单目视觉的关注并不排除将所提供的解决方案集成到多传感器环境中的可能性，也可能通过使用立体视觉、激光测距仪、雷达、超声波、GPS、惯性测量单元或其他传感器来收集数据。
单目视觉的讨论也是具有学术意义的，它回答了“只用一只眼睛”可以充分解决哪些任务的问题，这本身就是一个重要的研究课题。
本书包括三方面内容，方面侧重于监视驾驶员的状态，包括分类、检测和跟踪驾驶员的面部特征，即眼睛状态、头部姿态、打哈欠和点头等。第二方面通过引入用于车辆检测和距离估计的新颖算法，主要为道路感知和道路危险监视方法做出了贡献。第三方面，我们同时分析了驾驶员的注意力（车内数据）和道路危险（车外数据）。我们在两个数据源上都应用了一种数据融合方法，以衡量驾驶状况的总体风险、预防或避免即将发生的交通事故，并及时有效地协助注意力不集中的驾驶员。
对于我们讨论的每一部分，我们都展示和分析真实场景的试验结果，并通过对广泛数据集的基准测试加以支持。
本书由八章组成，每一章都有一个主要目标。所有章节都遵循独特的结构，首先是引言和相关工作的概述，然后是提出的技术或方法，后将提出的方法与常见的现有技术进行比较，并讨论基于经验、分析或试验结果的新颖性和改进。本书的简要内容如下:
第1章：基于视觉的驾驶员辅助系统
本章概述了在汽车中摄像头工作时要解决的任务。
第2章：驾驶员环境理解
本章对第1章所述的一般任务进行了细化，具体阐述了驾驶员监控与道路环境之间的交互。本章还回顾了其他已发表的相关工作。
第3章：计算机视觉基础
本章简要介绍了常见的计算机视觉概念（理论和数学概念），这些概念与本书后面的章节相关。本章给出了一些图像符号，包括积分图像、颜色转换、直线检测(Hough空间)、摄像机坐标和立体视觉分析。
第4章：目标检测、分类与跟踪
本章提供分类和机器学习的基础知识。首先介绍了目标检测的基本概念，然后讨论了有监督分类技术和无监督分类技术，后简要介绍了目标跟踪。这些知识是与本章之后章节相关的内容。
第5章：驾驶员疲劳检测
本章分析了常见的面部检测器（如LBP和哈尔检测器）的优缺点以及它们在驾驶员辅助系统（DAS）应用中的适用性，讨论了驾驶环境下面部检测失败的原因，并提出了改进措施。本章重要的部分是引入一个自适应全局和动态全局哈尔特征分类器，作为对标准Viola-Jones检测器在“训练”和“应用”两个阶段的显著改进。本章还提供了一个基于卡尔曼滤波的跟踪方案，可以成功地跟踪驾驶员的睡意状态，特别是在夜间，在明亮的路灯、较强的阴影、强烈的背光和部分遮挡的场景下进行睁眼和闭眼检测。
第6章：驾驶员注意力分散检测
根据前一章检测到的初始面部特征，本章继续介绍利用鲁棒技术来检测驾驶员的注意力分散。本章的主要目的是实现6D头部姿态估计，包括t时刻头部的转动、倾斜、俯仰，以及具体的头部位置(x, y)。通过精确的姿态检测以及第5章中讨论的眼睛状态检测，我们能够评估驾驶员的疲劳或注意力分散程度。
第7章：车辆检测与距离估计
本章介绍了一个基于AGHaar的车辆检测器，它采用了多特征分析和Dempster-Shafer融合。本章提供了足够的试验来保证车辆检测算法在不同天气和挑战条件下的鲁棒性。
第8章：避免碰撞的模糊融合
本章介绍了根据从第5~7章获得的在线数据（即驾驶员的状态、道路上检测到的车辆以及自车与前车的距离和相对角度）为驾驶的每一时刻定义风险。
在模糊融合平台中，我们将车内数据与道路外危险数据关联起来，并根据8个输入参数识别潜在碰撞驾驶条件的风险水平：头部转动、倾斜、俯仰（驾驶员的注意力方向），驾驶员眼睛状态（眼睛的开合），打哈欠，点头，自车与前车的距离和相对角度。
本书还简要讨论了立体视觉对驾驶员的辅助作用，但重点还是单目视觉数据的分析。我们并未全面介绍依靠单目视觉可能解决的所有任务，如还存在交通标志识别、车道检测和运动分析（如光流计算），这些是仅使用单目视觉就能取得实质性进展的领域。通过讨论驾驶员监控和交通监控的实例，我们提出了所需的基本内容，说明了将车内数据和车外数据的分析结合起来的重要作用。
作者感谢环境感知和驾驶员辅助项目的同事、访问者和学生的合作。该项目初在奥克兰大学，现在在奥克兰理工大学。我们特别感谢Zahra Moayed和Noor Saleem提供了关于KLT跟踪器的相关文献。

《驾驶辅助系统计算机视觉技术》回顾了过去几十年相关领域的研究及目前的先进技术。针对单目摄像机提出了各类计算机视觉算法与技术。本书包括三方面内容，第 一方面是介绍驾驶员的状态检测，包括对驾驶员面部特征的分类、检测和跟踪，如眼睛状态、头部姿态、打哈欠和点头等；第二方面，通过对车辆识别算法和距离估计算法进行介绍，进而对道路和道路危险检测进行阐述；第三方面，实时分析驾驶员注意力（车内数据）和道路危险状态（车外数据）。本书对两种数据进行融合来预测当前驾驶环境的整体危险系数，以避免和减小车辆碰撞的危险，协助注意力不集中的驾驶员及时有效地完成规避操作。在几方面的讨论中，本书呈现并分析了基于行业标准的真实环境下的试验数据。
本书适合自动驾驶与先进驾驶辅助系统的研究开发人员阅读使用，也适合车辆工程专业师生参考阅读。

前言

第1章基于视觉的驾驶员辅助系统1
1.1面向自动驾驶的驾驶员辅助系统1
1.2传感器1
1.3基于视觉的驾驶员辅助3
1.4安全和舒适功能6
1.5VB-DAS范例7
1.6进展10
1.7本书的范围14
第2章驾驶员环境理解17
2.1驾驶员与周围环境17
2.2驾驶员监测18
2.3基础环境监测22
2.4中层环境感知27
第3章计算机视觉基础32
3.1图像符号32
3.2积分图像33
3.3RGB到HSV的转换34
3.4霍夫变换直线检测35
3.5摄像机37
3.6立体视觉和能量优化38
3.7立体匹配41
第4章目标检测、分类与跟踪43
4.1目标检测与分类43
4.2有监督分类技术44
4.2.1支持向量机45
4.2.2方向梯度直方图49
4.2.3哈尔特征53
4.3无监督分类技术57
4.3.1k-均值聚类57
4.3.2高斯混合模型61
4.4目标跟踪65
4.4.1均值漂移67
4.4.2连续自适应均值漂移71
4.4.3Kanade-Lucas-Tomasi(KLT)跟踪器71
4.4.4卡尔曼滤波75
第5章驾驶员疲劳检测79
5.1引言79
5.2训练阶段:数据集80
5.3增加参数82
5.4应用阶段:简要的想法83
5.5自适应分类器85
5.5.1在具有挑战性的照明条件下的问题86
5.5.2混合强度平均86
5.5.3参数适配88
5.6跟踪和搜索小化90
5.6.1跟踪注意事项90
5.6.2滤波器建模和实现91
5.7相位保持去噪92
5.8全局哈尔特征94
5.8.1全局特征与局部特征95
5.8.2动态的全局哈尔特征96
5.9利用局部和全局特征增强级联96
5.10试验结果97
5.11总结106
第6章驾驶员注意力分散检测108
6.1引言108
6.2非对称外观模型109
6.2.1模型实施110
6.2.2非对称AAM112
6.3驾驶员的头部姿态和视线估计113
6.3.1优化的二维到三维姿态建模114
6.3.2通过费马变换进行面部匹配116
6.4试验结果118
6.4.1姿态估计118
6.4.2哈欠检测和头部点头识别123
6.5总结123
第7章车辆检测与距离估计125
7.1引言125
7.2方法概览127
7.3自适应全局特征哈尔分类器129
7.4直线与角点特征131
7.4.1水平边缘1327.4.2特征点检测134
7.5基于尾灯的检测135
7.5.1尾灯规格：讨论136
7.5.2色谱分析137
7.5.3尾灯分割138
7.5.4基于模板匹配的尾灯配对139
7.5.5基于虚拟对称检测的尾灯配对140
7.6数据融合和时间信息143
7.7车距估计146
7.8试验结果149
7.8.1距离估计149
7.8.2车辆检测器的评估150
7.9总结160
第8章避免碰撞的模糊融合162
8.1引言162
8.2系统组成163
8.3模糊器和隶属函数164
8.4模糊推理和融合引擎167
8.4.1隐含规则168
8.4.2聚合规则168
8.5去模糊化168
8.6试验结果169
8.7总结175
参考文献177

《驾驶辅助系统计算机视觉技术》回顾了过去几十年相关领域的研究及目前的先进技术。针对单目摄像机提出了各类计算机视觉算法与技术。本书包括三方面内容，第 一方面是介绍驾驶员的状态检测，包括对驾驶员面部特征的分类、检测和跟踪，如眼睛状态、头部姿态、打哈欠和点头等；第二方面，通过对车辆识别算法和距离估计算法进行介绍，进而对道路和道路危险检测进行阐述；第三方面，实时分析驾驶员注意力（车内数据）和道路危险状态（车外数据）。本书对两种数据进行融合来预测当前驾驶环境的整体危险系数，以避免和减小车辆碰撞的危险，协助注意力不集中的驾驶员及时有效地完成规避操作。在几方面的讨论中，本书呈现并分析了基于行业标准的真实环境下的试验数据。
本书适合自动驾驶与先进驾驶辅助系统的研究开发人员阅读使用，也适合车辆工程专业师生参考阅读。

1.内容全面详实 
2.大量彩图，便于阅读 
3.翻译团队翻译精当