机器学习系统：设计和实现

图书标准信息

• 作者 麦络；董豪
• 出版社 清华大学出版社
• 出版时间 2023-05
• 版次 1
• ISBN 9787302630074
• 定价 79.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 328页
• 字数 471.000千字

【内容简介】

本书系统地介绍了机器学习系统的设计原则和实践经验，侧重于介绍机器学习的原理、神经网络和优化器、自动差分算法、机器学习系统编程模型、控制流和数据流，异构硬件加速器的原理和编程、数据流图编译器前端、数据流图编译器后端、数据准备和增强、模型部署相关技术、分布式训练、弹性训练、联合训练和评估平台、调试和优化工具、数据隐私和安全等。在讲授的过程中，本书将根据MindSpore的自身特点，在各个章节突出讨论MindSpore的优势点，从而将MindSpore并列为与TensorFlow，PyTorch的三大框架。

【作者简介】

麦络  爱丁堡大学信息学院助理教授，博士生导师。2018年于帝国理工学院获得博士，谷歌博士奖学金获得者。主要研究方向为分布式系统、机器学和数据管理，当前研究工作专注于构建大规模、自适应和可信的机器学系统，受到谷歌、微软、华为、腾讯和阿里巴巴等多家知名科技公司的资助。在计算机很好会议odi、ndi、uenix atc、conext、vldb、eccv和neuri发表多篇。获得conext会议很好入围奖，acm multimedia 2017很好开源奖。

董豪  北京大学计算机学院助理教授，博士生导师，2019年于帝国理工获得博士。主要研究方向为计算机视觉、机器人和具身智能，当前研究工作围绕智能机器人的自主决策与泛化交互。担任cvpr 2023领域、aaai 2023程序委员、技核心期刊machine intelligence reearch副编委等，在neuri、iclr、iccv、eccv、iro等很好国际会议和期刊发表30余篇，deep reinforcement learning：fundamental reearch and application作者。获得acm mm很好开源软件奖，新一代人工智能产业技术创新战略联盟 openi 启智社区开源项目、pringer nature中国作者高影响力研究精选等。

【目录】

基础篇

章导论003

1.1机器学应用003

1.2机器学框架的设计目标004

1.3机器学框架的基本组成005

1.4机器学系统生态006

1.5本书结构和读者对象007

第2章编程模型009

2.1机器学系程模型的演进009

2.2机器学工作流011

2.2.1环境配置011

2.2.2数据处理012

2.2.3模型定义013

2.2.4损失函数和优化器014

2.2.5训练及保存模型015

2.2.6测试和验证016

2.3定义深度神经网络017

2.3.1以层为核心定义神经网络017

2.3.2神经网络层的实现021

2.3.3自定义神经网络层022

2.3.4自定义神经网络模型023

2.4c/c++编程接024

2.4.1在python中调用c/c++函数的025

2.4.2添加c++编写的自定义算子025

2.5机器学框架的编程范式030

2.5.1机器学框架编程需求030

2.5.2机器学框架编程范式现状030

2.5.3函数式编程案例031

2.6结032

2.7拓展阅读032

第3章计算图033

3.1设计背景和作用033

3.2计算图的基本构成034

3.2.1张量和算子035

3.2.2计算依赖037

3.2.3控制流038

3.2.4基于链式法则计算梯度041

3.3计算图的生成043

3.3.1静态生成043

3.3.2动态生成046

3.3.3动态图和静态图生成的比较048

3.3.4动态图与静态图的转换和融合049

3.4计算图的调度051

3.4.1算子调度执行051

3.4.2串行与并行052

3.4.3数据载入同步与异步机制053

3.5结054

3.6拓展阅读055

篇

第4章ai编译器和前端技术059

4.1ai编译器设计059

4.2ai编译器前端技术概述061

4.3中间表示062

4.3.1中间表示的基本概念062

4.3.2中间表示的种类063

4.3.3机器学框架的中间表示065

4.4自动微分072

4.4.1自动微分的基本概念072

4.4.2前向与反向自动微分074

4.4.3自动微分的实现077

4.5类型系统和静态分析081

4.5.1类型系统概述081

4.5.2静态分析概述082

4.6常见前端编译优化方法083

4.6.1前端编译优化简介083

4.6.2常见编译优化方法介绍及实现083

4.7结085

第5章ai编译器后端和运行时086

5.1概述086

5.2计算图优化088

5.2.1通用硬件优化088

5.2.2特定硬件优化090

5.3算子选择091

5.3.1算子选择的基础概念091

5.3.2算子选择的过程095

5.4内存分配095

5.4.1device内存概念096

5.4.2内存分配096

5.4.3内存复用098

5.4.4常见的内存分配优化手段099

5.5计算调度与执行101

5.5.1单算子调度101

5.5.2计算图调度102

5.5.3交互式执行106

5.5.4下沉式执行110

5.6算子编译器110

5.6.1算子调度策略111

5.6.2子策略组合优化112

5.6.3调度空间算法优化114

5.6.4芯片指令集适配115

5.6.5算子表达能力116

5.6.6相关编译优化技术117

5.7结117

5.8拓展阅读118

第6章硬件加速器119

6.1概述119

6.1.1硬件加速器设计的意义119

6.1.2硬件加速器设计的思路119

6.2硬件加速器基本组成120

6.2.1硬件加速器的架构120

6.2.2硬件加速器的存储单元121

6.2.3硬件加速器的计算单元122

6.2.4dsa芯片架构124

6.3加速器基本编程125

6.3.1硬件加速器的可编程125

6.3.2硬件加速器的多样化编程方法128

6.4加速器实践132

6.4.1环境132

6.4.2广义矩阵乘法的朴素实现133

6.4.3提高计算强度135

6.4.4使用共享内存缓存复用数据138

6.4.5减少寄存器使用139

6.4.6隐藏共享内存读取延迟140

6.4.7隐藏全局内存读取延迟141

6.4.8与cublas对比142

6.4.9小结143

6.5结143

6.6拓展阅读144

第7章数据处理145

7.1概述146

7.1.1易用146

7.1.2高效147

7.1.3保序147

7.2易用设计147

7.2.1编程抽象与接147

7.2.2自定义算子支持151

7.3高效设计153

7.3.1数据读取的高效154

7.3.2数据计算的高效157

7.4保序设计162

7.5单机数据处理能的扩展163

7.5.1基于异构计算的数据预处理163

7.5.2基于分布式的数据预处理165

7.6结166

第8章模型部署168

8.1概述168

8.2训练模型到推理模型的转换及优化169

8.2.1模型转换169

8.2.2算子融合170

8.2.3算子替换172

8.2.4算子重排173

8.3模型压缩173

8.3.1量化174

8.3.2模型稀疏176

8.3.3知识蒸馏178

8.4模型推理179

8.4.1前处理与后处理179

8.4.2并行计算180

8.4.3算子优化181

8.5模型的安全保护186

8.5.1概述186

8.5.2模型混淆186

8.6结188

8.7拓展阅读189

第9章分布式训练190

9.1设计概述190

9.1.1设计动机190

9.1.2系统架构191

9.1.3用户益处192

9.2实现方法192

9.2.1方法分类192

9.2.2数据并行194

9.2.3模型并行194

9.2.4混合并行197

9.3流水线并行197

9.4机器学集群架构198

9.5集合通信200

9.5.1常见集合通信算子200

9.5.2基于allreduce的梯度均算法203

9.5.3集合通信算法能分析205

9.5.4利用集合通信优化模型训练的实践206

9.5.5集合通信在数据并行的实践207

9.5.6集合通信在混合并行的实践208

9.6参数服务器210

9.6.1系统架构210

9.6.2异步训练211

9.6.3数据副本212

9.7结212

9.8拓展阅读213

拓展篇

0章联邦学系统217

10.1概述217

10.1.1定义217

10.1.2应用场景217

10.1.3部署场景218

10.1.4常用框架218

10.2横向联邦学219

10.2.1云云场景中的横向联邦219

10.2.2端云场景中的横向联邦220

10.3纵向联邦学222

10.3.1纵向联邦架构222

10.3.2样本对齐223

10.3.3联合训练224

10.4隐私加密算法225

10.4.1基于ldp算法的安全聚合226

10.4.2基于mpc算法的安全聚合226

10.4.3基于ldp-signds算法的安全聚合227

10.5展望229

10.5.1异构场景下的联邦学229

10.5.2通信效率提升230

10.5.3联邦生态230

10.6结231

1章系统232

11.1系统基本组成232

11.1.1消息队列233

11.1.2特征存储233

11.1.3稠密神经网络234

11.1.4嵌入表234

11.1.5训练服务器235

11.1.6参数服务器235

11.1.7推理服务器236

11.2多阶段系统236

11.2.1流水线概述236

11.2.2召回237

11.2.3排序239

11.3模型更新241

11.3.1持续更新模型的需求241

11.3.2离线更新242

11.4案例分析：支持在线模型更新的大型系统243

11.4.1系统设计挑战244

11.4.2系统架构245

11.4.3点对点模型更新传播算法246

11.4.4模型更新调度器247

11.4.5模型管理器248

11.4.6小结249

11.5结249

11.6扩展阅读250

2章强化学系统251

12.1强化学介绍251

12.2单节点强化学系统252

12.3分布式强化学系统255

12.4多智能体强化学257

12.5多智能体强化学系统260

12.6结264

3章可解释ai系统265

13.1背景265

13.2可解释ai定义266

13.3可解释ai算法现状介绍267

13.3.1数据驱动的解释267

13.3.2知识感知的解释270

13.4常见可解释ai系统272

13.5案例分析：mindsporexai273

13.5.1为图片分类场景提供解释273

13.5.2为表格数据场景提供解释275

13.5.3白盒模型276

13.6未来研究方向277

13.7结277

4章机器人系统278

14.1机器人系统概述278

14.1.1感知系统279

14.1.2规划系统280

14.1.3控制系统281

14.1.4机器人安全282

14.2机器人作系统283

14.2.1ros2节点285

14.2.2ros2主题285

14.2.3ros2服务286

14.2.4ros2参数286

14.2.5ros2动作286

14.3案例分析：使用机器人作系统287

14.3.1创建节点290

14.3.2读取参数296

14.3.3服务端-客户端服务模式298

14.3.4客户端301

14.3.5动作模式303

14.3.6动作客户端305

14.4结308

参文献309