智能交通系统数据分析

人类历史已经表明，文明的传播和经济的扩张在很大程度上可以归因于连接国家、地区、城市和社区的交通系统。从马车，到内燃机车，到电动汽车，再到未来的网联汽车和自动驾驶汽车，交通经历了一个快速发展的历程，使我们的生活和社会更加丰富多彩。智能交通系统（ITS）有望在使我们的城市和区域智能化以及与其他基础设施（如能源输电网）通信方面取得重大进展。ITS 正在成为物联网的一部分，新型的感知、控制、边缘和云计算技术已经准备好成为智慧城市的一部分。
交通运输系统将继续在经济全球化中起到战略性作用，通过日益复杂、相互连接和多式联运的运输系统运送货物和人员。然而，现代交通的复杂性是不能用过去的策略和工具来管理的。ITS 的特点在于其越来越复杂的数据，表现为异构的格式、大容量、空间和时间过程的细微差别以及频繁的实时处理需求。此外，ITS 将通过从个人设备、社交媒体和服务收集的数据得到加强。简单的数据处理、整合和分析工具并不能胜任复杂的 ITS数据处理任务。新兴数据分析系统和方法的应用，加上有效的数据收集和信息分发系统，为建立今后的信息系统提供了必要的机会。考虑到新一代专业人员需要在数据密集型的ITS 领域工作，就需要一种结合各种 ITS 相关数据分析主题的教科书。本书的目的是培养
一个技术精湛的技术专家，重点读者对象是交通工程领域的学生和现有的专业人员，也包括数据科学领域的学生和专业人员，这些人将引领未来 ITS 的规划、发展和维护。
本书分 12 章，涵盖了不同的数据分析主题。
第 1 章概述了 ITS 及其各种应用的数据密集型本质。对其数据的来源和特征进行了总结，包括 ITS 与数据分析的相关性。此外，还对美国国家 ITS 架构进行了回顾，以作为 ITS 规划、设计和部署的示例框架，重点是数据分析。提供了 ITS 应用的概述，以演示不同的流程在 ITS 应用部署中的作用。后简要介绍了 ITS 在世界各地的应用情况，包括由自动驾驶等技术创新催生的新趋势。
第 2 章介绍了 ITS 中的数据分析的基本原理及其背景。阐述了数据分析的描述性、诊断性、预测性和规范性方面的知识。然后介绍了数据分析解决方案的演变，例如 SQL分析、视觉分析、大数据分析和认知分析。还列出了可用的开源数据分析工具和资源。后讨论了 ITS 数据分析的未来方向。
第 3 章描述了基础的数据科学工具集，并为本书其余部分的分析技术奠定了基础。具体内容是：①用于复杂数据分析的基本统计编程 R环境介绍；② ITS 数据存储库的“科研数据交换”的综述；③关于 R中结构化数据的基本概念；④从外部读取数据到 R的技术和工具包；⑤从网络资源提取数据到 R的技术和工具包；⑥大数据处理技术的简介。
第 4 章聚焦于数据生命周期，使研究人员和从业人员能够有效地维护数据，以便实时和长期使用。数据对象可以是文件和链接的集合，也可以是数据库。这取决于数据类型和数据生命周期包含不同的阶段。此外，可以从不同的角度看待数据生命周期的各个阶段。本章旨在让读者对数据的生命周期有一定的认识和理解。
第 5 章探讨了数据基础设施的开发和解决方案，其中考虑了不同的应用程序、数据工作负载特征和相应的需求。概述了支持数据所需的基础设施，这些基础设施能够使用不同的抽象和运行系统来存储、处理和分发大量数据。然后将 ITS 应用程序的需求映射到数据基础设施的技术体系结构。总结了针对不同编程系统、抽象概念的不同高层基础设施，以及针对存储和计算管理的低层基础设施。
第 6 章研究了 ITS 的安全性和隐私问题，综述了通信网络及其创新应用。确定了汽车生态系统中的利益相关者及其需要保护的资产。讨论了一种攻击分类法，该分类法描述了对 ITS 以及网联车辆的攻击。对网联车辆的现有攻击进行了审查，并使用攻击分类进行了映射。后，讨论了现有的和潜在的安全和隐私解决方案。
第 7 章介绍了交互式数据可视化概念、工具和数据挖掘算法在 ITS 环境下的应用。在 ITS 领域中，这些系统对于支持大型复杂数据流的决策非常必要，这些数据由不同的基础设施和组件（如交通摄像头、车辆和交通管理中心）生成和使用。介绍了与 ITS 数据可视化系统设计相关的几个关键问题。此外，还讨论了实用的可视化设计原则。后是一个详细的案例研究，涉及一个多元可视化工具的设计。
第 8 章探讨了系统工程原则在 ITS 中的应用。系统工程用于以需求的形式将职责分配给参与 ITS 应用程序的所有平台上的硬件和软件。展开了针对数据分析为重点的 ITS系统开发场景所需的信息的调查。在开发场景中，使用架构描述语言（ADL）识别数据通信需求并将其映射。其中，ADL 支持本章中讨论的建模系统的验证和分析活动。
第 9 章具体论述了公路交通安全方面的数据分析。探讨了不同的交通安全分析方法，如碰撞计数 / 频率建模、安全效果评估、经济评价、热点分析和损伤严重程度建模等。首先对高速公路交通安全研究进行了综述。总结了这些研究中使用的各种方法。讨论了应用于高速公路交通安全的数据详情以及约束。此外，还探讨了网联和自动驾驶汽车等新兴趋势所带来的潜在新型数据源。
第 10 章以多式联运为背景，讨论了 ITS 应用中通常使用的描述性和预测性数据分析技术。这些技术涵盖了单变量、双变量和多变量分析的全部范围。本章还演示了如何使用 R语言实现这些技术。
第 11 章 综 述 了 社 交 媒 体 数 据 在 ITS 中 的 应 用。 因 为 Twitter、INSTAGRAM 和
Facebook 等社交媒体平台包含人们所发布的日常活动信息（包括旅行信息）都能够被获取，它们已经成为支持交通规划和运营的丰富数据来源。本章所探讨的具体内容是：①社交媒体数据特征；②回顾的社交媒体数据分析工具和算法；③简述在交通运输中的新兴社交媒体应用；④未来的研究挑战和潜在的解决方案。
第 12 章介绍了机器学习方法的基本概念以及它们在 ITS 中的应用。这一章讨论了如何利用机器学习方法提高交通数据分析工具的性能。讨论了所选择的机器学习方法，以及可用数据的质量和数量的重要性。简述了为 ITS 应用所选择的数据处理流程和机器学习方法。并通过一个实例说明了机器学习方法在基于数据驱动的交通系统中的重要性。

《智能交通系统数据分析》提供了用于分析智能交通系统的各类数据驱动方法，其中包括了实现这些算法的各种大数据分析与计算工具；回顾了智能交通系统的主要特点，以及如何分析其产生数据的基本概念。

《智能交通系统数据分析》涉及数据采集、存储、处理和发布，数据架构设计、数据管理与展示系统，以及需要的软硬件技术。读者将会学习到如何设计有效的数据可视化界面、如何根据不同的交通场景评价不同的数据分析方法、在客车及货车领域面向安全与环境的案例应用、数据隐私和安全，以及社交媒体数据在交通规划中的应用。

《智能交通系统数据分析》提供了用于分析智能交通系统的各类数据驱动方法，其中包括了实现这些算法的各种大数据分析与计算工具；回顾了智能交通系统的主要特点，以及如何分析其产生数据的基本概念。

《智能交通系统数据分析》涉及数据采集、存储、处理和发布，数据架构设计、数据管理与展示系统，以及需要的软硬件技术。读者将会学习到如何设计有效的数据可视化界面、如何根据不同的交通场景评价不同的数据分析方法、在客车及货车领域面向安全与环境的案例应用、数据隐私和安全，以及社交媒体数据在交通规划中的应用。

【作者简介】

马什鲁·乔杜里（Mashrur Chowdhury），克莱姆森大学教授,克莱姆森大学复杂系统、分析和可视化研究所的联合主任。他的研究主要集中在智能网联车辆技术上，重点是它们在智能城市中的集成。
艾米·阿彭（Amy Apon），自2011年以来一直是克莱姆森大学计算机学院的教授和计算机科学系主任。2015年，她离开克莱姆森，目前从事大数据、利用并行性和可扩展性以及计算机系统研究方面的研究项目。
卡坎·戴伊（Kakan Dey），美国西弗吉尼亚大学互联与自动化运输系统（CATS）实验室的助理教授和主任。他于2010年获得美国密歇根州底特律市韦恩州立大学土木工程硕士学位，并于2014年获得美国密歇根州克莱姆森市克莱姆森大学运输系统专业土木工程博士学位。

【译者简介】

马晓磊，国家万人计划青年拔尖人才，交通运输部城市轨道交通综合应急技术与装备研发中心副主任。2013年博士毕业于美国华盛顿大学，现任北航交通科学与工程学院教授，博士生导师。主要研究领域包括公共交通运营规划及交通大数据分析；主持国*级、省部级项目20余项。目前已在交通领域期刊以及会议上发表论文100余篇；获中国地理信息科技进步特等奖等省部级奖项5项；担任IEEE Transactions on ITS、IET ITS、Transportation Research Part C等6个权威SCI/SSCI期刊副主编及编委等学术组织成员。入选中国科协青年人才托举工程，北京市优秀青年，北京市科技新星等人才计划。担任中国致公党中央青年工作委员会委员，第十三届全国青联委员。

前言
译者序
第 1 章　智能交通系统的特征及其与数据分析的关系
1.1　智能交通系统作为数据密集型应用
1.1.1　ITS 数据系统
1.1.2　ITS 数据源与数据采集技术
1.2　智能交通系统的大数据分析方法与基础设施建设
1.3　ITS 架构：ITS 应用框架
1.3.1　用户管理及其要求
1.3.2　逻辑架构
1.3.3　物理架构
1.3.4　服务包
1.3.5　标准
1.3.6　安全
1.4　ITS 应用概述
1.4.1　ITS 应用类型
1.4.2　ITS 应用与数据分析的关系
1.5　智能交通系统：过去、现在与未来
1.5.1　20 世纪六七十年代
1.5.2　20 世纪八九十年代
1.5.3　21 世纪初十年
1.5.4　2010 年及以后
1.6　本书概述：ITS 应用的数据分析
1.7　习题
参考文献

第 2 章　数据分析基础 
2.1　简介
2.2　数据分析的功能类型
2.2.1　描述性分析
2.2.2　诊断分析
2.2.3　预测分析
2.2.4　规范性分析 
2.3　数据分析的演化
2.3.1　SQL 分析：RDBMS、OLTP和 OLAP
2.3.2　商业分析：商业智能、数据仓库和数据挖掘
2.3.3　可视化分析
2.3.4　大数据分析
2.3.5　认知分析
2.4　数据科学
2.4.1　数据生命周期 
2.4.2　数据质量
2.4.3　模型构建与评价 
2.5　数据分析的工具与资源
2.6　未来方向 
2.7　章节总结与结论
2.8　习题
参考文献

第 3 章　交通应用的数据分析工具和科学方法
3.1　简介
3.2　R 语言简介
3.3`研究数据交换计划
3.4`基础数据类型和结构：数据表和链表
3.4.1　数据表
3.4.2　链表
3.5　从外部文件导入数据
3.5.1　逗号分隔文件
3.5.2　XML 文件
3.5.3　SQL
3.6　在线社交媒体数据
3.6.1　静态搜索
3.6.2　动态数据流
3.7　大数据处理：Hadoop MapReduce
3.8　章节总结
3.9　习题
参考文献

第 4 章　数据核心：数据生命周期和数据管道
4.1　简介
4.2　案例和数据波动
4.3　数据和生命周期
4.3.1　USGS 生命周期模型
4.3.2　数字管控中心管控模型
4.3.3　DataONE 模型 
4.3.4　SEAD 研究对象生命周期模型 
4.4　数据管道 
4.5　未来方向
4.6　章节总结与结论
4.7　习题 
参考文献

第 5 章　智能交通系统的数据基础设施
5.1　简介 
5.2　网联的交通管理系统及其负载特征
5.3　基础设施简介
5.4　数据基础设施顶层设计
5.4.1　MapReduce ：可拓展的数据处理
5.4.2　数据接受和流处理
5.4.3　SQL 和数据表
5.4.4　短时随机数据读取管理
5.4.5　基于搜索的分析
5.4.6　商业智能与数据科学
5.4.7　机器学习
5.5　数据基础设施底层设计
5.5.1　Hadoop ：存储和计算管理
5.5.2　云环境下的 Hadoop 
5.6　章节总结与结论
5.7　习题 
参考文献

第 6 章　现代车辆的安全性和数据隐私
6.1　简介
6.2　车联网及其应用 
6.2.1　车内网络 
6.2.2　车外网络
6.2.3　创新车辆应用
6.3　股东和资产 
6.4　网络攻击分类法
6.5　安全分析
6.5.1　网络和协议脆弱性分析
6.5.2　网络攻击
6.6　安全和数据隐私解决方案
6.6.1　密码学基础
6.6.2　车辆通信的安全解决方法
6.6.3　WPAN 安全和隐私
6.6.4　安全的 VANET 网络
6.6.5　安全的 OTA ECU 固件更新
6.6.6　传感器数据私密性测量
6.6.7　安全的数据分发
6.7　未来研究方向
6.8　章节总结与结论
6.9　习题
参考文献

第 7 章　可交互的数据可视化
7.1　简介
7.2　智能交通系统的数据可视化
7.3　数据可视化的魅力 
7.4　数据可视化流程
7.5　数据可视化系统分类
7.6　可视化策略简介
7.6.1　数据数量压缩
7.6.2　缩小可视化组件
7.7　图像视觉引导策略
7.7.1　缩放和平移
7.7.2　概览   细节介绍
7.7.3　聚焦   上下文介绍
7.8　视觉交互策略
7.8.1　选择
7.8.2　链接
7.8.3　筛选
7.8.4　二次排列和映射
7.9　有效数据可视化的设计原则
7.10　案例分析：多变量数据可视化设计
7.10.1　用交互平行坐标实现的多变量可视化
7.10.2　通过数据处理的动态查询
7.10.3　通过嵌入式可视化的动态变量总结
7.10.4　多坐标系
7.11　章节总结与结论
7.12　习题
参考文献

第 8 章　智能交通系统系统工程中的数据分析
8.1　简介
8.2　背景
8.2.1　系统开发 V 模型
8.2.2　迭代开发
8.2.3　架构分析和设计语言
8.3　开发场景
8.3.1　架构中的数据分析
8.3.2　场景
8.4　章节总结与结论
8.5　习题
8.6　习题答案
8.7　附录
参考文献

第 9 章　安全应用的数据分析
9.1　简介
9.2　安全研究概述
9.2.1　人为因素
9.2.2　事故数量和频率模型
9.2.3　事前和事后研究
9.2.4　事故受伤严重程度建模
9.2.5　商用车辆安全性
9.2.6　数据驱动的公路巡查计划
9.2.7　面向安全的海量异构数据深度学习
9.2.8　实时交通运行和安全检测
9.2.9　网联车辆和交通安全
9.3　安全分析方法
9.3.1　统计方法
9.3.2　人工智能和机器学习
9.4　安全数据
9.4.1　事故数据
9.4.2　交通流数据
9.4.3　道路数据 
9.4.4　天气数据
9.4.5　车辆和驾驶人数据
9.4.6　常规驾驶研究
9.4.7　大数据和开放数据提案 
9.4.8　其他数据
9.5　问题和未来研

《智能交通系统数据分析》提供了用于分析智能交通系统的各类数据驱动方法，其中包括了实现这些算法的各种大数据分析与计算工具；回顾了智能交通系统的主要特点，以及如何分析其产生数据的基本概念。

《智能交通系统数据分析》涉及数据采集、存储、处理和发布，数据架构设计、数据管理与展示系统，以及需要的软硬件技术。读者将会学习到如何设计有效的数据可视化界面、如何根据不同的交通场景评价不同的数据分析方法、在客车及货车领域面向安全与环境的案例应用、数据隐私和安全，以及社交媒体数据在交通规划中的应用。

【作者简介】

马什鲁·乔杜里（Mashrur Chowdhury），克莱姆森大学教授,克莱姆森大学复杂系统、分析和可视化研究所的联合主任。他的研究主要集中在智能网联车辆技术上，重点是它们在智能城市中的集成。
艾米·阿彭（Amy Apon），自2011年以来一直是克莱姆森大学计算机学院的教授和计算机科学系主任。2015年，她离开克莱姆森，目前从事大数据、利用并行性和可扩展性以及计算机系统研究方面的研究项目。
卡坎·戴伊（Kakan Dey），美国西弗吉尼亚大学互联与自动化运输系统（CATS）实验室的助理教授和主任。他于2010年获得美国密歇根州底特律市韦恩州立大学土木工程硕士学位，并于2014年获得美国密歇根州克莱姆森市克莱姆森大学运输系统专业土木工程博士学位。

【译者简介】

马晓磊，国家万人计划青年拔尖人才，交通运输部城市轨道交通综合应急技术与装备研发中心副主任。2013年博士毕业于美国华盛顿大学，现任北航交通科学与工程学院教授，博士生导师。主要研究领域包括公共交通运营规划及交通大数据分析；主持国*级、省部级项目20余项。目前已在交通领域期刊以及会议上发表论文100余篇；获中国地理信息科技进步特等奖等省部级奖项5项；担任IEEE Transactions on ITS、IET ITS、Transportation Research Part C等6个权威SCI/SSCI期刊副主编及编委等学术组织成员。入选中国科协青年人才托举工程，北京市优秀青年，北京市科技新星等人才计划。担任中国致公党中央青年工作委员会委员，第十三届全国青联委员。