自动驾驶——人工智能理论与实践

毫无疑问，人类社会已经进入了智能时代。人工智能技术的发展迎来了又一波热潮，人脸识别、语音识别等技术的应用已经融入日常生活中的方方面面。各行各业特别是一些科技新兴行业对人工智能领域的研发需求和应用人才的需求急剧增加。

作为向社会输送人才的主要阵地，高校近年来也增设了人工智能相关的专业，以满足各行业对人工智能技术人才的需求。而在人才培养的过程中，我们发现人工智能作为交叉学科，对学习者自身的专业基础要求比较高，前置课程（例如高等数学、工程数学、计算机原理与体系结构、数据结构、计算机编程等）的学习会占用本科生大量的时间和精力。一些学生曾向教师反馈： 前置课程比较理论化，学起来枯燥，很多时候即使学完了，也不太清楚如何应用。由此可知一些学生在还未真正开始学习人工智能技术时，就已经觉得门槛太高，望而却步。

在人工智能技术的学习中，很多初学者最先接触的是神经网络模型的相关理论和算法，其中也有一些经典的模型（例如MNIST手写数字识别）作为实践案例，但是经过多年的发展，类似手写识别、语音识别、人脸识别等应用案例已逐渐变得平淡无奇，无法激发学生更高的学习热情，并且这些实践案例大部分是基于计算机或者手机平台部署实现的，初学者很少有机会将人工智能的学习与计算机或者手机之外的产品连接起来。

随着人们对智能出行等生活需求的不断提升，以及智能汽车制造新势力的不断崛起，自动驾驶技术的研发和应用已经成为当今社会关注的热点。自动驾驶技术不但对传统汽车产业的升级十分重要，而且是在终端产品中进一步提升芯片算力性能、发展高端集成电路技术的支撑，同时也是在高端生活消费品（智能汽车）和智慧城市中落地人工智能技术的重要突破口。无论产业界还是教育界对自动驾驶技术的研发和应用都十分重视，因此将自动驾驶作为人工智能理论学习和动手实践的教学案例，能够更好地激发初学者的学习热情，而且还能够增强他们持续学习的主观能动性。

自动驾驶技术的学习需要搭建一定的实验环境，目前产业界对自动驾驶技术的研发投入动辄以亿元为单位，显然很多高校无法承受如此高昂的成本，用于搭建同等水平的实验环境进行实践培养。一方面是产业界对自动驾驶技术人才的急需和高校学生对学习相关技术的渴望，另一方面是人工智能学习的高起点和自动驾驶实践的高成本，这两方面的矛盾需要找到一种合理的解决方案。为此，我们整合复旦大学和戴尔科技集团各自的优势资源，为初学者提供了自动驾驶技术及人工智能理论与实践的教学方案和资源平台。

戴尔科技集团为产业界中超过半数的自动驾驶技术研发企业提供了数据存储和处理的基础架构，帮助企业了解产业界研发自动驾驶技术的基本流程和基本需求，企业专家也密切关注自动驾驶技术最新的公开信息和技术发展。复旦大学与戴尔科技集团共建的“虚拟现实创客实验室”集中了优秀的专业教师和产业界专家，开设了“自动驾驶”相关课程，打造了适合高校教学的仿真实验环境和虚拟实验平台，编写了适合初学者的自动驾驶学习资料，并面向校内外本科生开展教学实践。通过多年的积累和一线教学过程中的反馈，在已有学习资料的基础上逐步完善并形成了本教材，希望能够借此帮助更多渴望学习人工智能技术的初学者在未来成为自动驾驶相关行业的骨干人才。

在本书的编写过程中，得到了戴尔科技集团多位专家的鼎力支持，很多专家不但亲自撰写内容，而且积极参与了相关教学课件的编制。除了本书主要编写团队之外，参加各章编写工作的还有陈天翔（第6章）、高雷（第2章）、李三平（第1、3章）、林小引（第1章）、倪嘉呈（第1、5章）、王子嘉（第1、6章）等。戴尔科技集团全球总裁兼首席技术官John Roese先生亲自为本书作序，本书的编写还得到了刘伟、陈春曦、贾真等集团高管以及孙文倩、曹贺等的关心和帮助，在此向他们表示衷心的感谢！同时也要感谢积极参与教材编写和宣传推广工作的出版社编辑、学校教务部门和戴尔科技集团中国研发中心的相关专家、老师和同仁的大力支持！

作为理论与实践相结合的教材，本书难免存在不足，对最新技术和市场发展的跟踪和更新不够及时和充分，受限于教学教具和实验环境，对相关问题的表述和理论知识的讲解可能存在疏漏，敬请广大读者批评指正。

编者

2023年3月

本书参照产业界自动驾驶技术研发的基本流程,充分借鉴了产业界在自动驾驶技术领域中的实际研发经验,以高性能的智能小车和高度仿真的车道沙盘为实验教具和运行环境,深入浅出地讲解自动驾驶技术的原理与实际应用,为初学者打开一扇通往人工智能世界的大门。本书以帮助初学者如何从无到有地打造出具备自动驾驶功能的智能小车为主线,内容分为看车(了解自动驾驶)、造车(设计智能小车)、开车(收集训练数据)、写车(编写自动驾驶模型)、算车(训练和优化自动驾驶模型)、玩车(部署并验证自动驾驶模型)6章。初学者可以通过边学习理论知识边动手实践的方式,系统学习人工智能的算法理论和应用实例。本书没有堆砌艰深晦涩的公式推导,力求将枯燥难解的算法原理及模型进行直观的讲解,希望读者在学习的过程中,了解现实中自动驾驶技术的发展并获得运用人工智能解决自动驾驶难题的乐趣。

本书适合作为高等院校智能科学与技术、人工智能相关专业的教材,也适合作为人工智能研究人员、开发人员的参考书。

胡波 复旦大学教授、博士生导师。担任工业与信息化部IMT-2030（6G）推进组专家组成员、教育厅电子信息类专业教学指导委员会委员、华为无线通信接入技术国家重点实验室学术委员会委员、上海市电子学会副理事长等学术职务。先后主持教育厅新工科研究与实践项目、产教协同育人项目及上海市教改项目多项。主要从事智能信息处理与传输、未来无线通信技术、智能传感网的参数估计与跟踪、智能图像与视频处理、基于视频的目标检测与跟踪、智能信息处理系统（图像、视频）设计与实现等方面研究。

第1章看车： 自动驾驶概述

1.0本章导读

1.1认识自动驾驶

1.1.1什么是自动驾驶

1.1.2自动驾驶的分级标准

1.1.3当前业界自动驾驶技术的主要进展

1.2自动驾驶的实现

1.2.1自动驾驶的核心问题

1.2.2自动驾驶的技术实现

1.2.3自动驾驶的研发流程

1.3自动驾驶中的人工智能

1.3.1实现自动驾驶的智能系统

1.3.2自动驾驶与人工智能

1.4自动驾驶面临的挑战

1.4.1技术层面上的挑战

1.4.2非技术层面上的挑战

1.5开放性思考

1.6本章小结

第2章造车： 自动驾驶系统软硬件基础

2.0本章导读

2.1汽车底盘结构

2.1.1动力传动装置

2.1.2车辆悬架装置

2.1.3转向控制装置

2.1.4刹车制动装置

2.2汽车电子电气架构

2.2.1汽车线控底盘

2.2.2控制器架构模式的发展

2.2.3汽车开放系统架构

2.3自动驾驶汽车系统

2.3.1自动驾驶相关硬件

2.3.2自动驾驶系统框架

2.3.3自动驾驶系统研发

2.4智能小车系统

2.4.1智能小车整体架构

2.4.2智能小车硬件系统

2.4.3智能小车软件系统

2.4.4智能小车自动驾驶

2.4.5智能小车开发环境

2.5开放性思考

2.6本章小结

第3章开车： 自动驾驶数据收集与预处理

3.0本章导读

3.1机器学习与数据集

3.1.1人工智能与机器学习

3.1.2机器学习数据集

3.1.3多种数据类型的数据标注

3.1.4高维数据可视化技术

3.2自动驾驶数据收集与处理

3.2.1自动驾驶数据特征

3.2.2自动驾驶传感器数据

3.2.3数据融合与车辆定位

3.2.4自动驾驶数据标注

3.2.5自动驾驶公开数据集

3.3智能小车数据收集与处理

3.3.1操控智能小车行驶

3.3.2智能小车行驶数据收集

3.3.3智能小车数据标注

3.3.4智能小车数据分析

3.3.5智能小车数据清洗

3.3.6智能小车数据可视化

3.3.7智能小车数据处理工具

3.4开放性思考

3.5本章小结

第4章写车： 自动驾驶神经网络模型

4.0本章导读

4.1机器学习与神经网络

4.1.1数据驱动的学习过程

4.1.2人工神经网络

4.2自动驾驶中的卷积神经网络

4.2.1卷积的引入

4.2.2卷积神经网络

4.2.3经典的卷积神经网络结构

4.3自动驾驶中其他模型结构

4.3.1其他视觉感知任务

4.3.2激光雷达等传感器数据的处理

4.3.3多模态传感器数据的融合

4.3.4自动驾驶模型案例研究

4.4智能小车建模实战演练

4.4.1基于人工神经网络识别标志

4.4.2基于卷积的端到端自动驾驶网络

4.5开放性思考

4.6本章小结

第5章算车： 自动驾驶模型训练与调优

5.0本章导读

5.1模型与训练参数

5.1.1模型训练数据

5.1.2智能小车CNN模型

5.1.3参数和超参数

5.1.4损失函数

5.2神经网络模型训练

5.2.1梯度下降迭代

5.2.2反向传播梯度计算

5.2.3训练参数调整实例分析

5.3模型超参数优化

5.3.1常见超参数优化方法

5.3.2超参数优化工具

5.4训练效率与推理效果

5.4.1离线计算与在线计算

5.4.2模型迁移

5.4.3硬件加速器

5.5开放性思考

5.6本章小结

第6章玩车： 智能小车模型部署与系统调试

6.0本章导读

6.1智能小车主要工作流程

6.2智能小车系统部署实现

6.2.1自动驾驶模式的部署实现

6.2.2手动驾驶模式的部署实现

6.2.3模型训练模式的部署实现

6.3智能小车代码更改与性能调优

6.3.1模块级别的代码更改与性能调优

6.3.2系统级别的代码更改与性能调优

6.4智能小车系统问题调试与升级优化

6.4.1智能小车系统问题调试

6.4.2智能小车系统升级优化

6.5开放性思考

6.6本章小结

参考文献

视 频 名 称时长/分钟位置

微课视频01第1章前言1第1章章首

微课视频02第1章导读261.0节节首

微课视频03什么是自动驾驶121.1.1节节首

微课视频04自动驾驶分级131.1.2节节首

微课视频05自动驾驶当前主要进展121.1.3节节首

微课视频06自动驾驶的核心问题91.2.1节节首

微课视频07自动驾驶的技术实现121.2.2节节首

微课视频08自动驾驶的研发流程111.2.3节节首

微课视频09实现自动驾驶的智能系统101.3.1节节首

微课视频10人工智能在自动驾驶场景中的应用81.3.2节节首

微课视频11技术层面上的挑战121.4.1节节首

微课视频12非技术层面上的挑战91.4.2节节首

微课视频13第1章开放性思考41.5节节首

微课视频14第1章小结21.6节节首

微课视频15第2章前言4第2章章首

微课视频16第2章导读62.0节节首

微课视频17动力传动装置202.1.1节节首

微课视频18车辆悬架装置102.1.2节节首

微课视频19转向控制装置82.1.3节节首

微课视频20刹车制动装置152.1.4节节首

微课视频21汽车线控底盘112.2.1节节首

微课视频22控制器架构模式的发展82.2.2节节首

微课视频23汽车开放系统架构52.2.3节节首

微课视频24自动驾驶相关硬件322.3.1节节首

微课视频25自动驾驶系统框架162.3.2节节首

微课视频26自动驾驶系统研发152.3.3节节首

微课视频27智能小车系统42.4节节首

微课视频28第2章开放性思考42.5节节首

微课视频29第2章小结32.6节节首

微课视频30第3章前言2第3章章首

微课视频31第3章导读93.0节节首

微课视频32人工智能与机器学习103.1.1节节首

微课视频33机器学习数据集173.1.2节节首

微课视频34数据集标注143.1.3节节首

微课视频35高维数据可视化173.1.4节节首

微课视频36自动驾驶数据特征133.2.1节节首

微课视频37自动驾驶传感器数据93.2.2节节首

微课视频38数据融合与车辆定位303.2.3节节首

微课视频39自动驾驶数据标注63.2.4节节首

微课视频40自动驾驶公开数据集123.2.5节节首

微课视频41控制智能小车行驶63.3.1节节首

微课视频42智能小车行驶数据收集33.3.2节节首

微课视频43智能小车数据分析23.3.4节节首

微课视频44智能小车数据处理33.3.5节节首

微课视频45第3章开放性思考63.4节节首

微课视频46第3章小结23.5节节首

微课视频47第4章前言3第4章章首

微课视频48第4章导读54.0节节首

微课视频49数据驱动与学习214.1.1节节首

微课视频50人工神经网络84.1.2节节首

微课视频51卷积的引入144.2.1节节首

微课视频52卷积神经网络124.2.2节节首

微课视频53经典的卷积神经网络124.2.3节节首

微课视频54其他视觉任务84.3.1节节首

微课视频55激光雷达等传感器数据的处理24.3.2节节首

微课视频56多模态传感器数据的融合34.3.3节节首

微课视频57自动驾驶模型案例研究44.3.4节节首

微课视频58智能小车建模实战演练34.4节节首

微课视频59开放性思考44.5节节首

微课视频60第4章小结24.6节节首

微课视频61第5章前言2第5章章首

微课视频62第5章导读15.0节节首

微课视频63模型训练数据55.1.1节节首

微课视频64智能小车CNN模型45.1.2节节首

微课视频65参数、损失函数和超参数85.1.3节节首

微课视频66梯度下降迭代115.2.1节节首

微课视频67反向传播梯度计算105.2.2节节首

微课视频68训练参数调整实例分析35.2.3节节首

微课视频69常见超参数优化方法105.3.1节节首

微课视频70超参数优化工具35.3.2节节首

微课视频71离线计算与在线计算25.4.1节节首

微课视频72模型迁移35.4.2节节首

微课视频73硬件加速器55.4.3节节首

微课视频74第5章开放性思考15.5节节首

微课视频75第5章小结15.6节节首

微课视频76第6章前言1第6章章首

微课视频77第6章导读76.0节节首

微课视频78自动驾驶汽车的研发流程  26.1节节首  

微课视频79智能小车的工作流程  106.1节节尾   

微课视频80智能小车的三种工作模式 116.2节节首

微课视频81mycar服务器软件系统与模型训练过程306.2.1节节首

微课视频82mycar软件系统介绍266.2.1节节尾

微课视频83mycar软件的数据收集与标签过程46.2.2节节首

微课视频84mycar软件的模型部属与推理过程286.2.3节节首

微课视频85动手定制mycar_server软件86.3节节首

微课视频86动手定制——增加传感器76.3.1节节首

微课视频87动手定制——创建独立线程对象76.3.2节节首

微课视频88智能小车常见问题与解决思路86.4节节首

微课视频89多传感器融合——使用景深摄像头66.4.2节【例6-1】处

微课视频90多传感器融合——使用激光传感器36.4.2节【例6-2】处

微课视频91增加车联网V2X技术56.4.22节处

微课视频92第6章开放性思考56.5节节首

微课视频93第6章小结26.6节节首

本书参照产业界自动驾驶技术研发的基本流程,充分借鉴了产业界在自动驾驶技术领域中的实际研发经验,以高性能的智能小车和高度仿真的车道沙盘为实验教具和运行环境,深入浅出地讲解自动驾驶技术的原理与实际应用,为初学者打开一扇通往人工智能世界的大门。本书以帮助初学者如何从无到有地打造出具备自动驾驶功能的智能小车为主线,内容分为看车(了解自动驾驶)、造车(设计智能小车)、开车(收集训练数据)、写车(编写自动驾驶模型)、算车(训练和优化自动驾驶模型)、玩车(部署并验证自动驾驶模型)6章。初学者可以通过边学习理论知识边动手实践的方式,系统学习人工智能的算法理论和应用实例。本书没有堆砌艰深晦涩的公式推导,力求将枯燥难解的算法原理及模型进行直观的讲解,希望读者在学习的过程中,了解现实中自动驾驶技术的发展并获得运用人工智能解决自动驾驶难题的乐趣。

本书适合作为高等院校智能科学与技术、人工智能相关专业的教材,也适合作为人工智能研究人员、开发人员的参考书。

胡波 复旦大学教授、博士生导师。担任工业与信息化部IMT-2030（6G）推进组专家组成员、教育厅电子信息类专业教学指导委员会委员、华为无线通信接入技术国家重点实验室学术委员会委员、上海市电子学会副理事长等学术职务。先后主持教育厅新工科研究与实践项目、产教协同育人项目及上海市教改项目多项。主要从事智能信息处理与传输、未来无线通信技术、智能传感网的参数估计与跟踪、智能图像与视频处理、基于视频的目标检测与跟踪、智能信息处理系统（图像、视频）设计与实现等方面研究。

★在智能交通领域，研发可以自主驾驶的车辆是全世界都关注的方向。利用多传感器和人工智能算法实现实时决策，这将改变交通成本，使人们的出行更加灵活与便利。长期来看，自动驾驶甚至会改变人们对于物理世界中“移动”与“固定”的观念。设想一下，可以重新规划未来城市的功能，或者用在过去难以想象的方式自动提供各种上门服务……这一切都源自人工智能驱动的交通系统。《自动驾驶——人工智能理论与实践》为人工智能的研究人员、开发人员和学生提供了实践案例和相关理论基础。
——John Roese 戴尔科技集团全球总裁兼首席技术官
　　
★新形态教材的基础是课程，《自动驾驶一一人工智能理论与实践》教材中遴选的内容是复旦大学与戴尔科技集团深度产教融合的成熟课程成果。很多学校都准备开设相关的课程，但缺乏影响力大