算力网络详解 卷3：算网大数据

 
当下，数字经济席卷全球，以科技为武器的产业革命深刻地影响着社会的发展进程，人类社会正迎来百年未有之大变局。在疫情这一“黑天鹅”的助推下，全球加速进入以数字化、网络化、智能化为特征的数智信息时代，这一变革重塑着全球的经济结构和竞争格局。 
伴随着经济范式的革新，信息基础设施被视为推动经济高质量发展的重要引擎。国家间信息经济的竞争逐渐转变为算力水平的竞争，算力发展成为实现中国科技强国的内在发展需求。因此，要把握算力发展的重大战略机遇，抢占发展主动权。为此，国家在 2018 年明确提出“新型基础设施建设”之后，相继出台了“东数西算工程”等一系列助力算力基础设施建设的政策和文件，为加快形成高质、经济、可持续的算力提供政策性保障，以迎接数智信息时代的到来。 
同时，产、学、研各界一同掀起了算力探讨和研究的热潮。受限于硅基芯片的 3 纳米单核制程，并且多核设备的芯片架构设计难度大，单一形态和单一算力提供主体的发展陷入了瓶颈期。通过计算联网实现大型计算业务自然成为业界当下的选择之一，只有如此，才能加速驱动算力设施和网络设施走向融合，算力网络这一概念便被提出来了。 
算力网络诞生于中国，是国内数字经济领先发展的成果，是具有国际领先水平的重大原创性技术。2022 年是算力网络的建设元年，国内电信运营商均把算力网络建设提升到公司战略高度。中国电信构建以云网操作系统为核心的云网体系，围绕资源和数据、运营管理、业务服务、能力开放四个维度分阶段向算力网络迈进。中国移动于 2021 年 11 月发布了《中国移动算力网络白皮书》，明确了总体策略和发展实施方案。为加快整合统筹现有资源和能力，推进算力网络建设发展，确定了算力网络发展的三个阶段：泛在协同、融合统一、一体内生。中国联通则以CUBE-Net 3.0为发展愿景，提出构建“算网为基、数智为核、低碳集约、安全可控”的算力网络一体底座，实现 6 融合的“智能融合”服务。 
亚信科技基于国际标准与国内电信运营商对算力网络的定义与规划，结合东数西算、AR/VR/XR 等多类典型算力网络场景，自主设计研发了算力网络产品体系，汇集了亚信科技在算力网络领域的创新研究成果，赋能通信运营商构建算力网络，助推东数西算工程落地。“算力网络详解”三部曲以亚信科技算力网络产品为基础，并结合相关场景和实践案例，全面介绍算力网络中智能编排调度、能力开放运营和大数据应用等关键功能和技术，从下往上贯穿整个算力网络系统架构，是国内首套详细回答算力网络两个核心问题——“算力网络怎么建”和“算力网络怎么用”——的书。非常荣幸能将此阶段性成果和经验以图书的形式与行业伙伴们进行分享，共同促进算力网络的繁荣发展。 
我国信息科技领域经历了从全面落后到奋力追赶的阶段，目前正处在争创领先的大背景下，未来必然会面临巨大的困难和挑战。亚信科技诞生之时就以“科技报国”为己任，在过去近 30 年的发展中始终不忘初心，砥砺前行，站立在技术的发展潮头。未来，我们将继续坚持以技术创新为引领，与业界合作伙伴们共同努力，为提升我国信息科技和应用水平、实现“数字中国”贡献力量。 
高念书
2022 年 9 月于北京

近年来，数字化成为时代的热点，覆盖到经济和社会生活的方方面面，并逐渐成为国家战略的一部分。2020 年 4 月，中共中央、国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》（简称《意见》），数据作为第五大生产要素被首次提出；2022 年 2 月，国家正式启动了“东数西算”工程，推动新基建向纵深发展，进一步构建和夯实数据作为核心生产要素、算力作为核心生产力的数字经济发展新格局。 
中国作为一个信息化建设大国，信息网络规模庞大，数据资源要素众多，数字经济发展迅猛。同时，中国又是一个发展中国家，信息化建设还不够充分、不够均衡、不够深入。一方面，国内数字经济市场巨大，但同时在地域上的分布又很分散，跨地域数据要素流转与协同需求强烈；另一方面，算力资源与数据资源在东西部的分布严重失衡，东部沿海地区数字经济活跃，数据资源体量庞大，但又受限于自身资源天赋，难以进行大规模算力建设，而西部地区水电、风电等能源禀赋优势明显，数字化建设却又相对滞后，国内数字化建设的这种需求性、差异性和互补性，正是算力网络（简称“算网”）建设的现实需求和内生动力。近几年，随着 5G 网络的加速建设和 6G 网络的深入研究，低时延、高带宽的通信网络给大规模跨域算力网络建设奠定了重要基础，大数据、云计算和人工智能技术的快速发展和成熟，又为算力网络的发展提供了丰富而深厚技术储备，算力网络建设的各类技术难点在技术发展的浪潮中被一一攻克，相关技术瓶颈逐步消失。在市场需求和技术发展的双重推动下，算网时代已然来临。 
算力网络是 ICT 行业发展的新趋势，是面向未来算力和网络融合的新技术领域。亚信科技精心打造了“算力网络详解”三部曲，包括： 
● 《算力网络详解 卷1：算网大脑》，详细介绍在算力网络中面对应用需求如何实现算力资源和网络资源的联合优化。 
● 《算力网络详解 卷2：算网PaaS》，详细介绍算力网络能力如何通过PaaS 平台进行纳管、开放、运维和运营，终实现算力网络技术和商业价值的落地。 
● 《算力网络详解 卷3：算网大数据》（即本书），主要讲解面向算力网络的大数据关键技术，以及这些技术是怎么赋能算力网络的。 
本书由亚信科技产品研发中心编写，编写组成员还包括王友仙、曹晓华、苏飞，同时感谢欧阳晔博士、朱军博士，以及齐宇、张峰为本书出版所做的工作。 
由于编者水平和精力有限，不足之处在所难免，若读者不吝告知，我们将不胜感谢。 
编者 
2022 年 11 月

未来十年将是算力网络（简称算网）蓬勃发展的十年，未来算网大数据的发展重点将聚焦在边缘计算、分布式协同计算、数据编织、隐私计算等核心技术领域。本书通过对这些核心领域的介绍，帮助读者快速了解和掌握算网大数据技术及应用场景。 本书共四篇 14 章：篇（第 1~3 章）介绍算力、算力网络的基本概念和算力网络驱动的大数据发展趋势；第二篇（第 4~7 章）介绍面向算力网络的大数据关键技术，包括边缘计算、分布式协同计算、数据编织、隐私计算等内容；第三篇（第 8~10 章）介绍大数据技术在算力网络中的具体应用；第四篇（第 11~14 章）介绍与算力网络结合的大数据应用场景及未来展望

未来十年将是算力网络（简称算网）蓬勃发展的十年，未来算网大数据的发展重点将聚焦在边缘计算、分布式协同计算、数据编织、隐私计算等核心技术领域。本书通过对这些核心领域的介绍，帮助读者快速了解和掌握算网大数据技术及应用场景。 本书共四篇 14 章：第一篇（第 1~3 章）介绍算力、算力网络的基本概念和算力网络驱动的大数据发展趋势；第二篇（第 4~7 章）介绍面向算力网络的大数据关键技术，包括边缘计算、分布式协同计算、数据编织、隐私计算等内容；第三篇（第 8~10 章）介绍大数据技术在算力网络中的具体应用；第四篇（第 11~14 章）介绍与算力网络结合的大数据应用场景及未来展望

罗峰，现任亚信科技研发中心数据产品规划总监。负责大数据产品创新与规划工作，在大数据领域拥有丰富的研发管理经验与行业实践经验，曾在华为、中科曙光负责产品研发和数字化转型工作。
张东飞，现任亚信科技研发中心规划与研发工程师。长期从事大数据领域的规划与设计工作，在数据治理、数据安全、算力网络、隐私计算等领域有丰富的实践经验。
高智芳，现任亚信科技研发中心架构师。负责基于云原生大数据平台的规划和设计，专注于云计算及大数据方向，曾在 IBM 工作多年，在云计算、大数据等领域有丰富的落地经验。

篇? 算力网络与大数据 
第 1 章 算力概述 2 
1.1 算力是什么 3 
1.1.1 计算工具的发展历史  3 
1.1.2 算力的内涵和外延  5 
1.2 无处不在的现代算力 6 
1.2.1 算力的分类  6 
1.2.2 典型算力平台  8 
1.3 算力，新时代的生产力10 
1.3.1 算力成为数据经济新引擎 10 
1.3.2 信息消费持续释放算力需求 11 
1.3.3 算力助力数字世界和物理世界无缝融合 12 
第 2 章 算力网络  14 
2.1 算力网络因何而生15 
2.1.1 连接算力“消费方”和算力“提供方” 15 
2.1.2 从“云网”到“算网” 16 
2.2 理解算力网络18 
2.2.1 算力网络的概念 18 
2.2.2 算力网络功能需求 19 
2.2.3 算力网络关键技术 20 
2.2.4 算力网络的体系架构 23 
2.3 算力网络发展展望25 
2.3.1 算力网络发展阶段 26 
2.3.2 算力网络面临的挑战 26 
第 3 章 算力网络提升大数据发展  28 
3.1 数据融入经济社会发展各领域28 
3.2 跨地域数据协同30 
3.2.1 云边数据协同 30 
3.2.2 分布式云数据中心 31 
3.3 跨行业数据流通33 
3.3.1 全链路数据治理，提供高品质数据供给 34 
3.3.2 开展数据资产化作业，释放数据要素化价值 34 
3.3.3 充分利用已有资源与能力，开创数据增值服务体系 35 
第二篇? 面向算力网络的大数据关键技术 
第 4 章 边缘计算  38 
4.1 边缘计算简介38 
4.1.1 边缘计算的定义及发展趋势 38 
4.1.2 边缘计算与传统云计算的区别 40 
4.2 边缘计算技术特点分析42 
4.2.1 低延时性 42 
4.2.2 去中心化 43 
4.2.3 低带宽消耗 44 
4.2.4 高安全可靠性 44 
4.2.5 非寡头化 44 
4.2.6 绿色节能 45 
4.3 边缘大数据技术45 
4.3.1 边缘计算参考技术架构 45 
4.3.2 边缘计算核心技术 47 
4.4 边缘大数据技术应用场景55 
4.4.1 智慧园区边缘大数据应用 55 
4.4.2 平安城市边缘大数据应用 58 
第 5 章 分布式协同计算  64 
5.1 分布式协同计算简介64 
5.2 分布式协同计算架构66 
5.3 分布式协同计算关键技术67 
5.3.1 数据跨域协同交换 67 
5.3.2 分布式任务编排调度 73 
5.3.3 节点分区可用性保障 78 
5.3.4 异常任务按需重做 78 
5.3.5 协同控制代理 79 
5.4 分布式协同计算应用场景81 
5.4.1 协同计算在智慧交通场景中的应用 81 
5.4.2 协同计算在智能家庭场景中的应用 82 
第 6 章 数据编织  84 
6.1 数据编织技术84 
6.1.1 数据编织的起源 84 
6.1.2 数据编织的定义 85 
6.1.3 数据编织需要具备的能力 88 
6.1.4 数据编织架构关键组成 93 
6.2 数据虚拟化技术实现94 
6.2.1 数据虚拟化的定义及能力 94 
6.2.2 数据虚拟化的技术实现 97 
6.2.3 数据虚拟化开源技术介绍  100 
6.3 数据虚拟化应用场景 104 
6.3.1 电信行业应用场景  104 
6.3.2 在线教育行业应用场景  105 
6.3.3 物联网行业应用场景  106 
第 7 章 隐私计算  108 
7.1 隐私计算的起源与发展 109 
7.1.1 隐私计算的起源  109 
7.1.2 隐私计算的政策环境  109 
7.1.3 隐私计算的市场发展  111 
7.1.4 隐私计算的发展展望  113 
7.2 隐私计算体系 114 
7.2.1 隐私计算的概念  114 
7.2.2 隐私计算体系架构  115 
7.3 隐私计算技术介绍 116 
7.3.1 多方安全计算  118 
7.3.2 联邦学习  123 
7.3.3 可信执行环境  124 
7.3.4 区块链技术辅助隐私计算  126 
7.4 隐私计算应用场景 129 
7.4.1 金融行业  129 
7.4.2 医疗健康行业  130 
7.4.3 政务行业  131 
第三篇? 大数据技术赋能算力网络 
第 8 章 湖仓一体的算网数据中心  134 
8.1 算力网络数据存算需求 134 
8.1.1 算力网络中的数据  134 
8.1.2 数据存算需求  136 
8.2 湖仓一体技术介绍 137 
8.2.1 湖仓一体技术发展背景  137 
8.2.2 湖仓一体技术架构  139 
8.2.3 湖仓一体关键技术  143 
8.2.4 湖仓一体开源技术  152 
8.2.5 湖仓一体应用场景  163 
8.3 算力网络数据中心的定位及作用 166 
8.3.1 算力网络数据中心定位  166 
8.3.2 数据赋能算力网络运行  169 
8.4 基于湖仓一体技术的算力网络数据中心  172 
8.4.1 为什么选择湖仓一体技术  172 
8.4.2 算力网络数据中心基于湖仓一体技术的具体实现  174 
第 9 章 算力网络中的数据治理  176 
9.1 算力网络数据治理需求 176 
9.2 数据治理技术发展 177 
9.2.1 跨域数据治理  177 
9.2.2 调度能力互通与治理应用  179 
9.2.3 数据全生命周期安全保障机制  183 
9.3 算力网络中数据治理的实践价值 187 
第 10 章 算力网络交易运营中的隐私计算  189 
10.1 算力网络运营交易介绍  189 
10.1.1 算力网络交易模式  189 
10.1.2 算力网络交易中的隐私计算架构实现  192 
10.1.3 算力网络交易中的隐私计算流程  195 
10.1.4 算力网络交易中的隐私计算核心功能  196 
10.1.5 算力网络交易风险及评估  199 
10.2 隐私计算技术在算力网络交易中的价值体现  202 
10.2.1 数据可信流通  202 
10.2.2 数据价值释放  204 
10.2.3 数据存证溯源  207 
第四篇? 算力网络时代大数据应用场景和发展展望 
第 11 章 东数西算  212 
11.1 东数西算，国家政策引导  212 
11.2 围绕五个一体化推进东数西算的实施  214 
11.2.1 网络一体化建设，保障大数据的高效传输  215 
11.2.2 能源一体化，推动大数据的低碳运营  217 
11.2.3 算力一体化，构建算力一张网  220 
11.2.4 数据安全保障数据的安全流通共享  222 
11.2.5 基于数据要素构建城市大脑  224 
11.3 东数西算，典型应用场景  225 
11.3.1 在线推理向东，离线分析向西  226 
11.3.2 资源托管  226 
11.3.3 数据存储与灾备  228 
第 12 章 加速数字化转型  230 
12.1 云边协同数据应用  231 
12.1.1 车路协同应用场景  231 
12.1.2 IoT 数据本地处理助力智能制造  232 
12.1.3 云边协同在云游戏场景中的应用  234 
12.2 赋能 AI，推动智能应用  237 
12.2.1 助力生命科学  237 
12.2.2 助力绿色计算  238 
12.2.3 推动自动驾驶落地  239 
12.3 数字化、智能化推动企业发展  240 
12.3.1 知识管理，助力企业智能化“蜕变”  241 
12.3.2 从企业数字化到管理决策智能化  241 
第 13 章 让生活环境更美好  244 
13.1 智慧家庭  244 
13.1.1 以家庭宽带作为智慧家庭服务的入口  245 
13.1.2 以互联网电视作为家庭娱乐操作系统  245 
13.1.3 以能力开放来构筑智慧家庭产业生态  246 
13.2 智慧社区  247 
13.2.1 智慧物业  248 
13.2.2 智慧社区生活  249 
13.2.3 智慧社区管理平台服务  249 
第 14 章 “算力网络   大数据”发展展望  251 
14.1 数据安全与隐私保护  251 
14.2 绿色计算，数字减碳  253

未来十年将是算力网络（简称算网）蓬勃发展的十年，未来算网大数据的发展重点将聚焦在边缘计算、分布式协同计算、数据编织、隐私计算等核心技术领域。本书通过对这些核心领域的介绍，帮助读者快速了解和掌握算网大数据技术及应用场景。 本书共四篇 14 章：篇（第 1~3 章）介绍算力、算力网络的基本概念和算力网络驱动的大数据发展趋势；第二篇（第 4~7 章）介绍面向算力网络的大数据关键技术，包括边缘计算、分布式协同计算、数据编织、隐私计算等内容；第三篇（第 8~10 章）介绍大数据技术在算力网络中的具体应用；第四篇（第 11~14 章）介绍与算力网络结合的大数据应用场景及未来展望

罗峰，现任亚信科技研发中心数据产品规划总监。负责大数据产品创新与规划工作，在大数据领域拥有丰富的研发管理经验与行业实践经验，曾在华为、中科曙光负责产品研发和数字化转型工作。
张东飞，现任亚信科技研发中心规划与研发工程师。长期从事大数据领域的规划与设计工作，在数据治理、数据安全、算力网络、隐私计算等领域有丰富的实践经验。
高智芳，现任亚信科技研发中心架构师。负责基于云原生大数据平台的规划和设计，专注于云计算及大数据方向，曾在 IBM 工作多年，在云计算、大数据等领域有丰富的落地经验。