云边协同大数据技术与应用

随着物联网的不断发展，越来越多的终端设备，如可穿戴设备、环境监控设备、传感器、虚拟现实设备等，具有了接入互联网的能力，并产生了海量的异构数据交互。传统的云平台已经不能满足不断涌现出来的新型应用对数据处理任务的响应速度、延迟、高吞吐和容错性等方面的要求，因而引发了学术界和工业界对云边协同平台的数据处理技术的广泛研究。本书以云边协同技术为主线，首先介绍云计算与边缘计算的发展历程，然后详细介绍云边协同环境下雾计算、边缘计算等与传统云平台相结合而催生的典型云边协同技术及其实际应用场景和案例。
本书作为为数不多的全面总结云边协同技术及其应用场景的书籍，从云计算和边缘计算的发展历程开始讲起，由浅入深，对云边协同的发展历程、云边协同所要解决的技术挑战等做了总结，然后详细介绍了典型的云边协同技术和框架，并在实际应用场景下讲述如何应用这些技术，同时对未来的云边协同技术做了展望。本书试图通过既简单又系统的方式让读者了解云边协同的前世今生，熟悉典型的云边协同技术及其应用场景，进而对整个云边协同技术体系有一个全面的认识。
为帮助读者轻松阅读并理解书中内容，本书不仅有详细的文字描述，还插入了大量的图表。此外，对于典型的云边协同技术，书中多从具体的应用场景出发，分析所要解决的技术挑战，然后介绍该应用场景中具体用到的云边协同技术，由点及面，向读者展现整个云边协同技术体系。在组织形式上，本书具有三大特色：
系统性：从云边协同技术的发展背景开始，深入典型技术和实际应用，全方位剖析云边协同大数据技术及其应用；
技术性：对云边协同环境下的典型技术进行了详尽介绍，如第2章中的云边协同数据预处理技术，第3章中的边缘训练和边缘推断前沿技术，第4章中的差分隐私技术、安全多方计算技术等；
实用性：理论和实践相结合，介绍了大量云边协同技术在典型场景下的挑战和应用，如第5章中的智慧仓储、智能配电、自动驾驶、智能家居等。
本书以云边协同技术的发展历程为线索，介绍云边协同技术体系，具体内容组织如下：
第1章：主要从云计算和边缘计算的发展历程开始介绍，然后对云边协同阶段的问题与挑战、云边协同数据处理、云边协同系统管理和云边协同的典型场景进行详细介绍，让读者从宏观层面了解云边协同技术体系。
第2章：重点介绍云边协同的数据处理系统。先总体介绍云边协同环境下数据处理所面临的问题和挑战，然后重点介绍云边协同环境下的数据预处理技术，包括数据清理、数据集成和数据归约；接着介绍批流融合处理架构与系统，包括 Lambda 和 Kappa 架构，并对云边协同环境下的批流融合处理前沿技术进行讨论；后就典型技术案例 SlimML 进行详细介绍。
第3章：对边缘计算和人工智能的结合—边缘智能进行详细介绍。先总结了云边协同环境下边缘智能所面临的技术挑战；然后详细介绍边缘训练前沿技术，包括中心化/去中心化训练、隐私保护、通信开销优化、梯度计算优化等；接着对边缘推断前沿技术进行详细介绍，包括输入过滤、模型压缩、模型分割、边缘缓存、多模型并行、多模型流水线、模型选择和模型生成等。
第4章：主要介绍云边协同下隐私计算技术的相关应用场景以及技术方案。首先介绍隐私保护技术的起源与发展，接着对云边协同场景下的数据安全场景以及恶意威胁模型进行详细介绍，之后讨论差分隐私技术、安全多方计算技术、同态加密技术、区块链技术的相关方案以及应用场景，后对隐私计算领域的未来趋势做了展望。
第5章：从视频大数据、工业互联网大数据、智慧城市大数据3个方面介绍云边协同大数据的典型应用，着重介绍数据具有的典型特征、云边协同在相关领域下的“云-边-端”三层应用架构以及关键问题和相关前沿技术，并且针对每个领域的一些案例，给出云边协同场景下的解决方案。
由于笔者的水平有限，编写时间仓促，书中难免会有一些错误或者不准确的地方，请读者原谅，并提出宝贵意见。

本书以云边协同技术的发展历程为线索，介绍云边协同技术体系，具体内容组织如下。

第1章以云边协同技术为线索，首先介绍云计算与边缘计算的发展历程，然后梳理云边协同技术的发展，并详细介绍云边协同数据处理系统发展过程中的驱动因素，以及数据处理在云边协同架构下的模式演化和未来的复杂应用的潜在计算模式。

第2章详细介绍云边协同环境下的数据预处理技术，对云边协同环境下需要处理的数据具有的多样性、异构性、限制性、稳定性和高吞吐等特点做了介绍，然后对数据清理、集成、归约等预处理技术以及典型批流融合处理架构和系统进行详细介绍，后展示了典型技术案例SlimML。

第3章具体介绍边缘智能技术，包括边缘训练前沿技术（如通信开销优化、梯度计算优化等）和边缘推断前沿技术（如模型压缩、模型分割、多模型并行、多模型流水线等）。

第4章着重介绍物联网与边缘智能数据安全隐私，从数据安全与隐私技术的起源和发展讲起，对云边协同环境下的数据安全挑战进行总结，后详细介绍实现数据安全与隐私保护的差分隐私技术、安全多方计算技术、同态加密技术和区块链技术，并展望了未来的数据安全与隐私保护技术。

第5章从实际的云边协同应用出发，详细介绍视频、工业互联网和智慧城市场景中的典型云边协同技术及其面临的挑战。

本书的读者对象主要包括大数据应用开发人员、大数据运维工程师、高校和研究院大数据方向师生以及开源软件爱好者。

本书以云边协同技术的发展历程为线索，介绍云边协同技术体系，具体内容组织如下。

第1章以云边协同技术为线索，首先介绍云计算与边缘计算的发展历程，然后梳理云边协同技术的发展，并详细介绍云边协同数据处理系统发展过程中的驱动因素，以及数据处理在云边协同架构下的模式演化和未来的复杂应用的潜在计算模式。

第2章详细介绍云边协同环境下的数据预处理技术，对云边协同环境下需要处理的数据具有的多样性、异构性、限制性、稳定性和高吞吐等特点做了介绍，然后对数据清理、集成、归约等预处理技术以及典型批流融合处理架构和系统进行详细介绍，后展示了典型技术案例SlimML。

第3章具体介绍边缘智能技术，包括边缘训练前沿技术（如通信开销优化、梯度计算优化等）和边缘推断前沿技术（如模型压缩、模型分割、多模型并行、多模型流水线等）。

第4章着重介绍物联网与边缘智能数据安全隐私，从数据安全与隐私技术的起源和发展讲起，对云边协同环境下的数据安全挑战进行总结，后详细介绍实现数据安全与隐私保护的差分隐私技术、安全多方计算技术、同态加密技术和区块链技术，并展望了未来的数据安全与隐私保护技术。

第5章从实际的云边协同应用出发，详细介绍视频、工业互联网和智慧城市场景中的典型云边协同技术及其面临的挑战。

本书的读者对象主要包括大数据应用开发人员、大数据运维工程师、高校和研究院大数据方向师生以及开源软件爱好者。

韩锐
北京理工大学特别研究员，博士生导师。2010年毕业于清华大学并获优秀硕士毕业生，2014年博士毕业于英国帝国理工学院，2014年3月至2018年6月在中国科学院计算所工作。专注于研究面向典型负载（机器学习、深度学习、互联网服务）的云计算系统优化，在 TPDS、TC、TKDE、TSC等领域（重要）期刊和INFOCOM、ICDCS、ICPP、RTSS等会议上发表超过40篇论文，Google学术引用1000 余次。

刘驰
北京理工大学计算机学院副院长，教授，博士生导师。智能信息技术北京市重点实验室主任，国家优秀青年科学基金获得者，国家重点研发计划首席科学家，中国电子学会会士，英国工程技术学会会士，英国计算机学会会士。分别于清华大学和英国帝国理工学院获得学士和博士学位，后在德国电信研究总院任博士后研究员，在美国IBM T.J.Watson研究中心和IBM中国研究院任研究主管。主要研究方向是智能物联网技术。曾主持国家重点研发计划“工业软件”重点专项项目、国家自然科学基金青年/面上/优青/重点项目、国家重点研发计划课题等。现任国家信息产业“十四五”规划专家顾问组成员、第四届全国信标委技术委员会委员、IEEE Transactions on Network Science and Engineering编委等。获得KDD'21论文亚军，以及省部级一等奖、二等奖、三等奖各1项。 

前言
作者简介
第1章　云边协同大数据系统概述 1
1.1　云边协同发展历程 1
1.1.1　探索阶段 1
1.1.2　云阶段 3
1.1.3　云边协同阶段 7
1.2　云边协同数据处理 12
1.2.1　数据来源 12
1.2.2　处理模式 13
1.3　云边协同系统管理 18
1.3.1　云边协同负载 18
1.3.2　任务管理 25
1.3.3　资源管理 29
1.3.4　应用管理 33
1.4　云边协同典型场景 35
1.4.1　物联网大数据 35
1.4.2　视频大数据 41
1.4.3　智能驾驶大数据 47
1.5　本章小结 52
参考文献 54
第2章　云边融合的数据处理系统 60
2.1　云边协同环境下的数据处理简介 60
2.1.1　背景 60
2.1.2　环境 61
2.1.3　数据 63
2.1.4　处理模式 63
2.1.5　问题与挑战 64
2.2　云边协同环境下的数据预处理 66
2.2.1　简介 66
2.2.2　数据质量 67
2.2.3　数据清理 68
2.2.4　数据集成 77
2.2.5　数据归约 80
2.2.6　数据预处理小结 84
2.3　批流融合处理架构与系统 84
2.3.1　批流融合处理架构 85
2.3.2　批流处理系统的发展 86
2.3.3　批流融合处理前沿技术 91
2.4　典型技术案例SlimML 95
2.4.1　背景 95
2.4.2　非关键点验证 97
2.4.3　总体思想 100
2.4.4　架构 101
2.4.5　评测 105
2.5　本章小结 112
参考文献 112
第3章　边缘智能 119
3.1　背景 119
3.1.1　边缘计算 119
3.1.2　边缘智能 119
3.2　挑战 121
3.3　边缘训练前沿技术 122
3.3.1　边缘训练简介 122
3.3.2　中心化/去中心化训练简介 123
3.3.3　隐私保护 126
3.3.4　通信开销优化 131
3.3.5　梯度计算优化 135
3.3.6　边缘训练小结 139
3.4　边缘推断前沿技术 140
3.4.1　边缘推断简介 140
3.4.2　模型角度优化 141
3.4.3　系统角度优化 151
3.4.4　模型选择 155
3.4.5　模型自动生成 156
3.4.6　边缘推断小结 157
3.5　本章小结 158
参考文献 160
第4章　物联网与边缘智能数据安全隐私 165
4.1　数据安全与隐私技术的起源与发展 165
4.1.1　隐私技术的起源与发展 166
4.1.2　隐私保护技术现状 168
4.2　云边协同下的数据安全挑战 169
4.2.1　云边协同下的数据安全场景 169
4.2.2　云边协同下的恶意威胁模型 172
4.2.3　数据安全关键挑战 174
4.2.4　数据泄露案例 176
4.3　差分隐私技术 177
4.3.1　相关应用场景与挑战 177
4.3.2　差分隐私技术简介 177
4.3.3　差分隐私技术应用 182
4.3.4　相关前沿研究简介 183
4.4　安全多方计算技术 183
4.4.1　相关应用场景与挑战 183
4.4.2　安全多方计算简介 184
4.4.3　安全多方计算应用 189
4.4.4　相关前沿研究简介 192
4.5　同态加密技术 192
4.5.1　相关应用场景与挑战 192
4.5.2　同态加密技术简介 193
4.5.3　同态加密技术应用 195
4.5.4　相关前沿研究简介 197
4.6　区块链技术 197
4.6.1　相关应用场景与挑战 197
4.6.2　区块链技术简介 198
4.6.3　区块链技术应用 201
4.6.4　相关前沿研究简介 202
4.7　未来技术展望 202
4.8　本章小结 203
参考文献 203
第5章　云边协同典型应用 206
5.1　视频大数据 206
5.1.1　简介 206
5.1.2　数据特征 207
5.1.3　相关技术 209
5.1.4　典型案例 217
5.2　工业互联网大数据 219
5.2.1　简介 219
5.2.2　数据特征 220
5.2.3　相关技术 223
5.2.4　典型案例 227
5.3　智慧城市大数据 230
5.3.1　简介 230
5.3.2　数据特征 232
5.3.3　关键问题和前沿技术 233
5.3.4　典型案例 238
5.4　本章小结 243
参考文献 243

本书以云边协同技术的发展历程为线索，介绍云边协同技术体系，具体内容组织如下。

第1章以云边协同技术为线索，首先介绍云计算与边缘计算的发展历程，然后梳理云边协同技术的发展，并详细介绍云边协同数据处理系统发展过程中的驱动因素，以及数据处理在云边协同架构下的模式演化和未来的复杂应用的潜在计算模式。

第2章详细介绍云边协同环境下的数据预处理技术，对云边协同环境下需要处理的数据具有的多样性、异构性、限制性、稳定性和高吞吐等特点做了介绍，然后对数据清理、集成、归约等预处理技术以及典型批流融合处理架构和系统进行详细介绍，后展示了典型技术案例SlimML。

第3章具体介绍边缘智能技术，包括边缘训练前沿技术（如通信开销优化、梯度计算优化等）和边缘推断前沿技术（如模型压缩、模型分割、多模型并行、多模型流水线等）。

第4章着重介绍物联网与边缘智能数据安全隐私，从数据安全与隐私技术的起源和发展讲起，对云边协同环境下的数据安全挑战进行总结，后详细介绍实现数据安全与隐私保护的差分隐私技术、安全多方计算技术、同态加密技术和区块链技术，并展望了未来的数据安全与隐私保护技术。

第5章从实际的云边协同应用出发，详细介绍视频、工业互联网和智慧城市场景中的典型云边协同技术及其面临的挑战。

本书的读者对象主要包括大数据应用开发人员、大数据运维工程师、高校和研究院大数据方向师生以及开源软件爱好者。

韩锐
北京理工大学特别研究员，博士生导师。2010年毕业于清华大学并获优秀硕士毕业生，2014年博士毕业于英国帝国理工学院，2014年3月至2018年6月在中国科学院计算所工作。专注于研究面向典型负载（机器学习、深度学习、互联网服务）的云计算系统优化，在 TPDS、TC、TKDE、TSC等领域（重要）期刊和INFOCOM、ICDCS、ICPP、RTSS等会议上发表超过40篇论文，Google学术引用1000 余次。

刘驰
北京理工大学计算机学院副院长，教授，博士生导师。智能信息技术北京市重点实验室主任，国家优秀青年科学基金获得者，国家重点研发计划首席科学家，中国电子学会会士，英国工程技术学会会士，英国计算机学会会士。分别于清华大学和英国帝国理工学院获得学士和博士学位，后在德国电信研究总院任博士后研究员，在美国IBM T.J.Watson研究中心和IBM中国研究院任研究主管。主要研究方向是智能物联网技术。曾主持国家重点研发计划“工业软件”重点专项项目、国家自然科学基金青年/面上/优青/重点项目、国家重点研发计划课题等。现任国家信息产业“十四五”规划专家顾问组成员、第四届全国信标委技术委员会委员、IEEE Transactions on Network Science and Engineering编委等。获得KDD'21论文亚军，以及省部级一等奖、二等奖、三等奖各1项。