面向高端制造领域的大数据管理系统

图书标准信息

• 作者 “面向高端制造领域的大数据管理系统”项目组
• 出版社 清华大学出版社
• 出版时间 2021-09
• 版次 1
• ISBN 9787302579113
• 定价 98.00元
• 装帧 平装
• 开本 16开
• 页数 483页
• 字数 0.78千字

【内容简介】

本书是“十三五”国家重点研发计划“云计算和大数据”专项“面向高端制造领域的大数据管理系统”项目的研究成果。全书共25章，分为导论篇、多模态异构数据源管理引擎篇、语义融合与一体化管理引擎篇、运维工具篇、测试篇和应用篇，紧密围绕我国先进制造发展的需求和国际大数据管理技术的前沿，在工业大数据一体化管理体系架构、多模态异构数据管理、语义融合与协同优化、运维工具与测试床等多个方面论述了本项目的重要成果。
  本书可供高端制造企业大数据管理和工业大数据管理领域的科研、开发和运维人员阅读。

【作者简介】

【目录】

篇导论篇

章什么是大数据3

1.1大数据的定义3

1.2确定与不确定并存3

1.34v特征4

1.4多模态、强关联、高通量5

1.5应用特征5

本章参文献7

第2章发展动态与现实需求8

2.1靠前动态8

2.2现状9

2.3现实需求10

本章参文献11

第3章系统架构与关键技术12

3.1大数据技术架构12

3.2大数据管理系统架构14

3.3大数据管理关键技术15

本章参文献16

第2篇多模态异构数据源管理引擎篇

第4章高通量监测时序数据管理引擎19

4.1概述19

4.2需求19

4.2.1时序数据19

4.2.2应用场景19

4.2.3功能需求20

4.2.4现有工作21

4.3系统设计21

4.3.1系统架构21

4.3.2系统特点22

4.3.3数据模型23

4.3.4编码压缩23

4.3.5查询功能23

4.4技术实现25

4.4.1tsfile文件格式25

4.4.2存储引擎26

4.4.3查询引擎26

4.5能27

4.5.1能概述27

4.5.2测试结果27

4.6本章小结32

本章参文献33

第5章海量非结构化数据管理引擎34

5.1概述34

5.2需求34

5.2.1应用场景34

5.2.2相关工作36

5.2.3需求描述36

5.3方法设计39

5.3.1系统框架执行39

5.3.2系统管理者模块40

5.3.3元数据存储模块40

5.3.4非结构化数据存储模块41

5.4技术实现41

5.4.1小文件管理策略42

5.4.2查询语法43

5.5能48

5.5.1benchmark测试48

5.5.2image测试49

5.6本章小结50

本章参文献51

第6章bom图数据管理引擎52

6.1概述52

6.2需求52

6.2.1bom数据的建模需求52

6.2.2bom数据的查询需求56

6.2.3需求小结62

6.3方法设计63

6.3.1以bom为核心的产品生命周期信息闭环模型设计思想63

6.3.2结构化数据集成64

6.3.3非结构化数据集成67

6.3.4信息闭环的应用场景70

6.4技术实现74

6.4.1系统架构74

6.4.2功能结构实现75

6.5能81

6.5.1数据准备81

6.5.2数据导入81

6.5.3应用案例82

6.6本章小结83

本章参文献83

第7章bom图数据模式匹配算法85

7.1概述85

7.2需求85

7.3相关工作88

7.3.1图同构查询88

7.3.2分布式图计算框架88

7.3.3分布式图模式匹配89

7.4方法设计89

7.4.1系统整体架构89

7.4.2查询计划ssd的构造90

7.4.3消息传递规则构建92

7.4.4消息传递规则附加到数据节点94

7.4.5查询计划的执行94

7.4.6方法分析96

7.5能97

7.5.1实验设置97

7.5.2优化策略分析98

7.5.3可扩展分析99

7.5.4相关方法对比分析100

7.6本章小结101

本章参文献101

第8章bom图数据测试与分析算法103

8.1概述103

8.2需求103

8.3方法设计105

8.4技术实现106

8.4.1社区发现106

8.4.2介数中心度计算111

8.4.3图数据库管理系统测试117

8.5效果与特117

8.5.1界面展示117

8.5.2社区发现效率119

8.5.3介数中心度更新效率120

8.6本章小结123

本章参文献123

第3篇语义融合与一体化管理引擎篇

第9章数据融合与一体化数据查询模型127

9.1概述127

9.2需求127

9.2.1数据集成128

9.2.2面向多源异构数据的统一数据作接规范130

9.3模型设计与实现130

9.3.1数据源130

9.3.2数据模式131

9.4本章小结133

本章参文献133

0章数据融合与一体化数据查询调度135

10.1概述135

10.2需求135

10.2.1查询语言统一问题135

10.2.2跨引擎访问切换问题136

10.2.3跨引擎查询执行效率问题136

10.3方法设计137

10.3.1设计思想137

10.3.2元数据模式信息138

10.3.3架构设计139

10.4技术实现140

10.4.1整体框架140

10.4.2语法设计141

10.4.3词法、语法与语义模块143

10.4.4元数据管理模块144

10.4.5计划与整合规则生成模块145

10.4.6执行器模块146

10.4.7结果整合模块和json转换模块146

10.5能146

10.5.1首页146

10.5.2数据源147

10.5.3映模式147

10.5.4数据集信息148

10.5.5数据查询149

10.6本章小结150

本章参文献150

1章语义融合中的实体抽取与关联151

11.1概述151

11.2需求151

11.3方法设计152

11.3.1方法概述152

11.3.2候选样本提取与特征选择方法153

11.3.3基于标签函数的标签推断方法154

11.3.4基于专家委员会的主动学交互方法155

11.3.5标签函数构造方法156

11.4技术实现160

11.4.1概述160

11.4.2数据结构160

11.4.3实现细节161

11.4.4外部接161

11.5能162

11.5.1实体挖掘模块成果162

11.5.2实体抽取系统能162

11.6本章小结163

本章参文献163

2章语义融合与一体化语义查询实现165

12.1概述165

12.2需求165

12.3方法设计166

12.3.1方法概述166

12.3.2时序模式生成算法166

12.3.3文本匹配方法167

12.3.4时间序列的模式匹配算法168

12.4技术实现169

12.4.1组件选取169

12.4.2数据结构与预处理171

12.4.3系统实现174

12.4.4外部接175

12.5能176

12.5.1被测系统简介176

12.5.2测试环境介绍177

12.5.3测试方法177

12.5.4测试内容178

12.5.5测试结果179

12.6本章小结179

本章参文献179

第4篇运维工具篇

3章能监控工具183

13.1概述183

13.2需求183

13.3模型设计183

13.3.1数据库监控模块185

13.3.2硬件监控模块186

13.3.3集群监控模块188

13.3.4docker监控模块189

13.4技术实现189

13.4.1数据采集189

13.4.2监控数据处理与可视化193

13.4.3异常检测194

13.4.4历史任务评价197

13.5效果与优势198

13.5.1监控效果演示198

13.5.2与相关工具相比的优势199

13.6本章小结200

本章参文献200

4章系统调优工具202

14.1概述202

14.2需求202

14.3方法设计203

14.3.1关系型数据库调优工具设计203

14.3.2键值数据库调优工具设计204

14.3.3时间序列数据库调优工具设计204

14.3.4apache spark分布式数据处理台调优工具设计206

14.4技术实现208

14.4.1关系型数据库调优工具实现208

14.4.2键值数据库调优工具实现209

14.4.3时间序列数据库调优工具实现212

14.4.4apache spark分布式数据处理台调优工具实现215

14.5能217

14.6本章小结219

本章参文献219

5章资源规划和调度工具222

15.1概述222

15.2需求222

15.2.1功能需求222

15.2.2挑战224

15.3方法设计224

15.3.1系统结构224

15.3.2数据持久化227

15.3.3资源的规划和调度230

15.3.4资源动态伸缩机制231

15.3.5资源预估机制233

15.3.6资源管理系统界面233

15.4系统实现234

15.4.1共享存储的集成235

15.4.2时序数据库管理引擎的集成239

15.4.3结构化数据库管理引擎的集成242

15.4.4键值数据库管理引擎的集成244

15.4.5bom图数据库管理引擎的集成246

15.4.6非结构化数据库管理引擎的集成251

15.4.7自定义调度器的实现254

15.4.8资源动态伸缩机制的实现259

15.4.9资源预估机制的实现263

15.5能与优势265

15.6本章小结270

本章参文献271

6章数据备份与容灾工具273

16.1概述273

16.2需求273

16.2.1术语解释273

16.2.2系统需求274

16.3相关工作275

16.3.1请求分发模块276

16.3.2用户命令处理模块277

16.3.3磁盘i/o管理模块277

16.3.4远程传输模块280

16.3.5模块283

16.3.6主从角互换模块284

16.3.7远程复制灾难恢复模块284

16.3.8连续数据备份模块286

16.3.9连续数据恢复模块286

16.4本章小结290

本章参文献290

7章故障诊断与修复工具292

17.1概述292

17.2需求292

17.3方法设计293

17.3.1体框架293

17.3.2功能设计294

17.4技术实现296

17.4.1系统结构296

17.4.2图形用户界面312

17.5能318

17.5.1集群组件监控模块318

17.5.2规则检测模块323

17.5.3志检测模块324

17.5.4故障诊断与报警模块325

17.6本章小结325

本章参文献325

8章数据清洗工具327

18.1概述327

18.2需求327

18.2.1需求分析327

18.2.2体设计328

18.3方法设计328

18.3.1不完整或不准确数据修复模块328

18.3.2不一致数据中的错列检测与修复模块328

18.3.3异常区间检测与修复模块330

18.4技术实现330

18.4.1不完整或不准确数据修复模块330

18.4.2错列检测与修复模块333

18.4.3异常区间检测与修复333

18.5能335

18.5.1不完整或不准确数据修复实验结果335

18.5.2错列检测与修复实验结果337

18.5.3异常片段检测与修复实验结果339

18.6本章小结340

本章参文献340

第5篇测试篇

9章高通量监测时序数据管理引擎测试基准与工具345

19.1概述345

19.2需求345

19.2.1现有测试基准和工具345

19.2.2应用场景需求描述346

19.3方法设计348

19.3.1数据模型348

19.3.2能指标349

19.3.3负载模型350

19.4技术实现352

19.4.1评测方案352

19.4.2评测工具的设计和实现352

19.5评测方式和结果354

19.6本章小结356

本章参文献357

第20章bom图数据管理引擎测试基准与工具359

20.1概述359

20.2需求360

20.2.1分析360

20.2.2功能360

20.2.3挑战360

20.3方法设计361

20.3.1数据模型分析与设计361

20.3.2数据生成器的设计363

20.3.3查询负载生成器的设计367

20.4技术实现369

20.4.1数据生成器的实现369

20.4.2数据负载生成器的实现373

20.5能374

20.5.1数据生成器生成的图数据374

20.5.2负载生成器生成的负载374

20.5.3进行测试375

20.5.4基准评价体系设计与建立376

20.6本章小结377

本章参文献377

第21章海量非结构化工程数据管理引擎测试基准与工具378

21.1概述378

21.2需求378

21.2.1需求概述378

21.2.2基准概述380

21.3模型设计380

21.3.1模型设计概述380

21.3.2数据模型380

21.3.3负载模型383

21.4技术实现385

21.4.1评测系统设计385

21.4.2数据生成部分387

21.4.3负载测试部分392

21.4.4结果显示部分394

21.5特点395

21.6本章小结396

本章参文献396

第6篇应用篇

第22章支持航天航空装备创新研制的大数据挖掘与分析台401

22.1概述401

22.2需求401

22.2.1气动特分析需求402

22.2.2气动热数据分析需求402

22.2.3载荷与环境相关数据分析需求403

22.3方法设计403

22.3.1体架构403

22.3.2气动特挖掘算法库405

22.4技术实现407

22.4.1气动规律分析407

22.4.2气动不确定度挖掘416

22.5能及优势419

22.6本章小结419

本章参文献419

第23章民机协同大数据设计台421

23.1概述421

23.2需求421

23.3方法设计422

23.4技术实现424

23.4.1数据接入与存储424

23.4.2数据融合424

23.4.3预研流程与数据协同425

23.5能426

23.5.1客机多参数综合分析优化台427

23.5.2中心数据库435

23.5.3基于快速数值分析方法的机翼气动/结构等多学科设计优化软件437

23.6本章小结442

本章参文献442

第24章基于风电大数据台的风电场智能运维与设计443

24.1概述443

24.2现状443

24.2.1风电场运维业务现状443

24.2.2风电场设计现状444

24.3台设计445

24.3.1风电大数据台体设计445

24.3.2风电场智能运维服务系统设计446

24.3.3风电厂定制化设计系统设计447

24.4技术方案450

24.4.1风电大数据台技术方案450

24.4.2风电场智能运维系统技术方案456

24.4.3基于大数据的开放式风电场定制化设计关键技术457

24.5能459

24.6本章小结460

本章参文献461

第25章风电装备全生命周期绿供应链管理462

25.1概述462

25.2应用背景与建设目标462

25.2.1风电绿供应链建设现状462

25.2.2风电绿供应链建设需求464

25.2.3风电装备全生命周期绿供应链管理数据需求466

25.2.4风电绿供应链建设目标466

25.3风电装备绿供应链管理的设计467

25.3.1体任务467

25.3.2体设计467

25.4技术方案468

25.4.1技术路线468

25.4.2台建设472

25.4.3关键技术479

25.5能480

25.5.1特与优势480

25.5.2经济效益480

25.5.3社会效益481

25.6本章小结482

本章参文献482

寄语484