机器学习及其硬件实现

图书标准信息

• 作者 （日）高野茂之
• 出版社 机械工业出版社
• 出版时间 2023-12
• 版次 1
• ISBN 9787111739500
• 定价 99.00元
• 装帧 平装
• 开本 16开
• 页数 264页
• 字数 373千字

【内容简介】

本书讨论神经形态计算和神经网络的理论及应用，主要内容包括机器学硬件的发展趋势和应用实例，机器学的基础知识，以及实现过程中涉及的主要问题。1.涵盖多种机器学硬件和台，以及各类机器学硬件加速器解决方案，读者可根据需要将这些解决方案应用于合适的机器学算法。2.对现有研究成果和产品进行回顾，分析不同的机器学模型，并通过fpga和aic方法解释目标机器学模型的设计。3.对硬件设计的未来方向进行展望，涉及传统微处理器、gpu、fpga和aic等，帮助读者了解现代研究趋势，进而实现自己的设计。

【作者简介】

:
    高野茂之（Shigeyuki Takano），目前任职于某业界领先的高性能计算公司，曾在某汽车公司担任工程师，曾在三洋半导体和多玩国从事深度学习处理器和数字信号处理器的开发工作。他现在的研究兴趣是计算机体系结构，特别是粗粒度可重构体系结构、图形处理器和编译器基础结构。他拥有会津大学的硕士学位。

【目录】

译者序

前言

章简介1

1.1机器学的曙光1

1.1.1“jeopardy!”中的ibm watson挑战1

1.1.2image挑战2

1.1.3谷歌alphago挑战职业围棋选手2

1.2机器学及其应用3

1.2.1定义3

1.2.2应用3

1.3学及其能指标4

1.3.1学前的准备5

1.3.2学方法7

1.3.3能指标和验证8

1.4例子11

1.4.14.011

1.4.2交易（区块链）12

1.5机器学的结15

1.5.1与人工智能的区别15

1.5.2炒作周期15

第2章传统的微架构16

2.1微处理器16

2.1.1处理器核心的微架构16

2.1.2微处理器的编程模型17

2.1.3微处理器的复杂18

2.1.4超标量处理器的优点和缺点20

2.1.5寄存器文件的规模20

2.1.6分支预测及其惩罚20

2.2多核处理器21

2.2.1众核的概念21

2.2.2编程模型21

2.3数字信号处理器22

2.3.1dsp的概念22

2.3.2dsp微架构23

2.4图形处理单元24

2.4.1gpu的概念24

2.4.2gpu微架构24

2.4.3gpu上的编程模型26

2.4.4将gpu应用于计算系统26

2.5现场可编程门阵列27

2.5.1fpga的概念27

2.5.2fpga微架构27

2.5.3fpga设计流程28

2.5.4将fgpa应用于计算系统29

2.6特定领域架构的前景30

2.6.1过去的计算机行业30

2.6.2机器学硬件的历史31

2.6.3重新审视机器学硬件32

2.7执行能的衡量指标34

2.7.1延迟和吞吐量34

2.7.2每秒的作数35

2.7.3能耗和功耗36

2.7.4能效37

2.7.5利用情况39

2.7.6数据重用40

2.7.7面积41

2.7.8成本41

第3章机器学及其实现43

3.1神经元及其网络43

3.2神经形态计算45

3.2.1脉冲时序依赖可塑和学45

3.2.2神经形态计算硬件46

3.2.3地址-事件表示48

3.3神经网络49

3.3.1神经网络模型50

3.3.2以前和现在的神经网络52

3.3.3神经网络硬件53

3.4用于模拟实现的内存单元57

第4章应用、asic和特定领域架构58

4.1应用58

4.1.1应用的概念58

4.2应用的特征59

4.2.1局部59

4.2.2死锁60

4.2.3依赖62

4.2.4时间和空间作64

4.3特定应用的集成电路65

4.3.1设计约束65

4.3.2模块化结构和大规模生产69

4.3.3牧村波动70

4.3.4设计流程71

4.4特定领域架构71

4.4.1特定领域架构简介71

4.4.2特定领域语言72

4.5机器学硬件73

4.6深度学上的推理分析和训练分析74

4.6.1深度学上的推理分析74

4.6.2深度学上的训练分析76

第5章机器学模型开发79

5.1开发过程79

5.1.1开发周期79

5.1.2交验证80

5.1.3软件栈81

5.2编译器82

5.2.1onnx82

5.2.2nnvm83

5.2.3tensorflowxla83

5.3代码优化83

5.3.1提取数据级并行83

5.3.2内存访问优化84

5.4python脚本语言和虚拟机85

5.4.1python和优化85

5.4.2虚拟机86

5.5计算统一设备架构87

第6章能提升方法89

6.1模型压缩89

6.1.1剪枝89

6.1.2dropout93

6.1.3dropconnect94

6.1.4蒸馏94

6.1.5主成分分析96

6.1.6权重共享97

6.2数值压缩99

6.2.1量化和数值精度100

6.2.2对内存占用和推理准确

的影响103

6.2.3切边和剪裁109

6.3编码110

6.3.1游程编码110

6.3.2霍夫曼编码111

6.3.3压缩的效果113

6.4零值跳过116

6.4.1零值跳过的概念116

6.4.2csr和csc的稀疏表示116

6.4.3零值跳过的用例119

6.5近似121

6.5.1近似的概念121

6.5.2激活函数近似121

6.5.3乘法器的近似123

6.6优化125

6.6.1模型优化125

6.6.2数据流优化126

6.7能提升方法的结128

第7章硬件实现的案例研究130

7.1神经形态计算130

7.1.1模拟逻辑电路130

7.1.2数字逻辑电路131

7.2深度神经网络135

7.2.1模拟逻辑电路135

7.2.2dsp137

7.2.3fpga139

7.2.4asic145

7.3量子计算175

7.4研究案例的结175

7.4.1神经形态计算的案例研究181

7.4.2深度神经网络的案例研究181

7.4.3神经形态计算和深度神经网络硬件之间的比较182

第8章硬件实现的关键183

8.1市场增长预测183

8.1.1iot市场183

8.1.2机器人市场184

8.1.3大数据和机器学市场184

8.1.4药物研发中的人工智能市场185

8.1.5fpga市场185

8.1.6深度学芯片市场185

8.2设计和成本之间的权衡186

8.3硬件实现策略188

8.3.1策略规划的要求188

8.3.2基本策略191

8.3.3替代因子193

8.4硬件设计要求概述193

第9章结论194

附录a深度学基础195

a.1等式模型195

a.1.1前馈神经网络模型196

a.1.2激活函数196

a.1.3输出层197

a.1.4学和反向传播197

a.1.5参数初始化201

a.2用于深度学的矩阵作201

a.2.1矩阵表示及其布局202

a.2.2用于学的矩阵作序列203

a.2.3学优化203

a.2.4偏置-方差问题203

附录b深度学硬件建模205

b.1深度学硬件的概念205

b.1.1参数空间与传播之间的关系205

b.1.2基本的深度学硬件206

b.2深度学硬件上的数据流206

b.3机器学硬件架构207

附录c神经网络模型208

c.1n变体208

c.1.1卷积架构208

c.1.2卷积的后向传播210

c.1.3卷积的变体213

c.1.4深度卷积对抗生成网络215

c.2rnn变体215

c.2.1rnn架构215

c.2.2lstm和gru单元216

c.2.3公路网络218

c.3自变体218

c.3.1堆式去噪自218

c.3.2梯形网络219

c.3.3变分自220

c.4残差网络221

c.4.1残差网络的概念221

c.4.2残差网络效应221

c.5图神经网络222

c.5.1图神经网络的概念222

附录d研究、趋势和投资224

d.1中国224

d.1.1下一代人工智能发展计划224

d.2美国225

d.2.1synae计划225

d.2.2uide计划225

d.2.3microns计划225

d.3欧洲225

d.4本226

d.4.1内政及通信省226

d.4.2文部科学省226

d.4.3本经济贸易产业省226

d.4.4内务省227

附录e机器学对社会的影响228

e.1产业228

e.1.1过去的产业228

e.1.2下一个产业230

e.1.3开源的软件和硬件230

e.1.4社会企业和共享经济231

e.2机器学与我们231

e.2.1机器学可替代的领域231

e.2.2产业整合232

e.2.3一个简化的世界232

e.3社会与个人233

e.3.1将编程引入教育233

e.3.2价值改变233

e.3.3社会支持235

e.3.4犯罪235

e.4236

e.4.1和检察官236

e.4.2行政、立法和236

e.4.3军事236

参文献237