工业大数据分析实践

在过去的五年中，笔者有幸深入制造业数字化转型一线，在与工业龙头企业深入交流和合作的过程中，目睹了国内产业数据基础的快速发展，也看到了数字化、数据经营等理念深入人心的过程。回想早年，为了验证数据分析技术，只能跨越地域、克服语言和文化的差异，到境外实施项目，不禁感慨万千。在过去的二十年中，数据平台技术和数据分析算法蓬勃发展。在数据平台技术方面，数据量的爆发式增长和分布化、数据负荷特征变化（从以交易型为主变为以事件型为主）、基础计算资源（CPU、GPU、存储、网络等）成本的变化，触发了数据平台架构的变化（大规模、分布式）；在数据分析算法方面，经典的统计学习算法继续发展，分布式架构的学习算法和以梯度计算为核心的深度学习也取得了长足的进步。另外，数据平台技术和数据分析算法不断融合，涌现了不少针对统计学习算法进行优化的系统架构（System for Machine Learning），统计学习算法也逐渐应用于架构参数设计、性能分析与调优、平台运维效率提高等方面（Machine Learning for System）。
基于数据思维和业务创新，大数据在互联网、电商等领域取得了丰硕的成果。在工业领域，大数据也被寄予厚望。工业领域的大数据主要是在线监测数据和周期性检测数据，因此，数据在传输和存储过程中会呈现明显的时序特征，数据分析需要进行多维度的数据拉通和整合，也就是常说的“工业数据竖着进来、横着出去”。工业系统往往是经过精心设计的、能够长期稳定运行的系统，这意味着工业大数据分析中的样本不均衡问题更加严重。在工业领域，先验知识不再局限于概率关系（联合、条件概率），还有大量体系化的因果关系（设计原因、运行机制、运营逻辑等）和很多半结构化的经验知识（以行业专家为载体）。这些特点决定了工业领域的数据平台技术和数据分析算法与商务领域的不同。
无论是在商务领域还是在工业领域，数据都是对自然现象和社会现象的不完备刻画（可传递性强），这从根本上决定了其适用范围，也推动了人们通过丰富数据的采集来源等方式不断拓宽其适用边界。如果脱离了场景上下文，数据分析的结果就会脱离实际。在很多时候，数据分析问题的识别和定义过程比求解过程更重要，需要从微观、中观、宏观等多个层面审视数据分析问题，在业务和决策流程中对其进行观察。在多年的数据分析实践中，笔者一直在思考一个问题：在数据分析领域，是否存在一些系统化方法，可以用来指导数据分析工作及提高数据分析工作的效率和质量。
本书的书名为《工业大数据分析实践》，但是在表达方式上，笔者更喜欢用“数据分析”，而不是“大数据分析”。因为与无穷的认知好奇心相比，数据从来没有“大”过。即使进行数据分析的数据量很大，数据分析的本质仍然是寻找繁杂现象背后的不变量（小数据）。但考虑到业界约定俗成的说法，本书没有刻意回避“大数据”的提法。
本书对工业大数据分析领域的设备故障诊断与健康管理（Prognostics ＆ Health Management，PHM）、生产质量分析（Product Quality Management，PQM）、生产效率优化（Production Efficiency Management，PEM）等典型课题的识别、定义、执行和应用方法进行了探索和总结，将数据分析技术放在业务经营和物理机制的上下文中，明确其适用范畴，以提高数据分析的可执行性（Actionable）、可度量性（Billable）和可消费性（Consumable）。
本书的目的是为工业数据分析师提供一些参考。全书共10章，第1章和第2章简要概括了工业大数据的背景、特点及工业大数据分析的范畴与关键技术；第3～7章从方法论的角度探讨了工业大数据分析的实践方式，包括其在PHM、PQM、PEM、生产安全、研发数据、营销优化等领域的规划方法和典型分析课题；第8章总结了常用的工业大数据分析算法，特别是针对时序模式的分析算法；第9章简单论述了工业大数据的数据接入、数据管理等平台技术；第10章的6个实际案例从不同方面体现了工业大数据分析项目的复杂性和多样性，包括数据驱动、专家知识驱动、机器学习与专家知识驱动结合等类型的课题。
本书的8.1节（统计分析算法）、8.2节（机器学习算法）、8.4节（工业知识图谱）、8.5.1节（系统辨识算法）、8.5.2节（运筹优化算法）和10.6节（轨道车辆悬挂系统故障诊断）由李闯编写；第9章（工业大数据平台技术）由杨锐编写；10.1节（风电大数据分析）由周杰编写；7.1节（生产安全分析）和10.3节（气化炉工艺参数优化）由崔鹏飞编写，其余章节均由田春华编写，刘家扬和田春华负责全书的统稿与修订。另外，4.4.3节在传感器一致性检验方面借鉴了翟栋的成果，在此表示感谢。
本书的编写过程也是笔者在实用性和普适性之间不断拉锯的过程，在这个曲折的过程中，笔者不断地进行自我否定与再思考，甚至一度想放弃。本书权当是对工业大数据实践的初步探讨，用来抛砖引玉。直至今日，笔者仍担心编写过程过于仓促，很多算法内容没来得及详细展开，再加上笔者才疏学浅，不少认知还停留于浅层，有些说法和表达尚欠推敲，书中难免有疏漏、错误之处，还望广大读者不吝赐教，日后有机会再进行更正。
田春华   
2021年2月于北京

本书以工业大数据的特点和需求为牵引，阐述了工业大数据分析的工程方法论，针对设备故障诊断与健康管理（Prognostics ＆ Health Management，PHM）、生产质量分析（Product Quality Management，PQM）、生产效率优化（Production Efficiency Management，PEM）等提出了具体的分析课题定义方法，给出了典型分析场景和算法框架，并系统总结了工业大数据领域的常用分析算法（特别是时序挖掘算法），*后以6个实际案例从不同方面诠释了工业大数据分析项目的复杂性和多样性，包括纯数据驱动、专家知识驱动、机器学习与机理模型结合等类型的分析课题，以期形成工业大数据分析的工程化方法体系。本书适合工业行业中从事数据分析、数字化转型、数据平台规划的专业人员阅读，也可为其他从事行业数据分析的专业人员及高等院校数据挖掘的研究人员提供参考。

田春华，博士，北京工业大数据创新中心首席数据科学家，曾在IBM中国研究院担任研究经理。专注数据挖掘算法、产品及行业应用开发工作，有丰富的行业实践经验，帮助装备制造、石油化工、电子制造、能源电力、航空与港口等领域的几十家国际和国内领先企业，成功实施资产管理、运营优化、营销洞察等数据分析项目。参与了多个工业大数据相关标准的制定工作、白皮书的编写工作、竞赛支持工作及多个国际学术会议的组织工作。发表学术论文近百篇，获得40余项国际和国内专利授权。

目 录 

第1章 工业大数据概论 001 
1.1 工业大数据产生的背景 001 
1.1.1 工业的数字化转型之路 001 
1.1.2 支撑技术的演化 002 
1.1.3 对工业大数据的期望 003 
1.1.4 各国的战略 003 
1.2 工业大数据的典型应用场景 004 
1.2.1 业务领域视角 004 
1.2.2 应用系统视角 005 
1.3 工业大数据的特点与关键技术 006 
1.3.1 特点 006 
1.3.2 关键技术 008 
1.4 本章小结 012 
参考文献 014 
第2章 工业大数据分析概论 016 
2.1 工业大数据分析的特点与挑战 016 
2.1.1 数据视角 016 
2.1.2 应用视角 017 
2.2 工业大数据分析的范畴 018 
2.2.1 典型分析主题 018 
2.2.2 分析模型的形态与融合方式 021 
2.2.3 分析模型的应用模式 023 
2.3 工业大数据分析的关键技术 024 
2.3.1 模型和算法 024 
2.3.2 分析项目管理方法与工程化 025 
2.3.3 数据分析软件与平台 025 
2.4 本章小结 025 
参考文献 026 
第3章 工业大数据分析的工程方法 027 
3.1 CRISP-DM方法论 027 
3.1.1 CRISP-DM方法论简介 027 
3.1.2 分析问题的实际执行路径 028 
3.2 数据驱动的机器学习工程方法 030 
3.2.1 分析问题识别与定义 031 
3.2.2 业务理解 034 
3.2.3 数据理解 041 
3.2.4 数据准备 042 
3.2.5 模型建立 042 
3.2.6 模型评价 043 
3.2.7 模型部署 044 
3.3 专家规则开发的工程方法 044 
3.3.1 业务规则的技术和方法 045 
3.3.2 专家规则的特点 047 
3.3.3 专家规则开发的AI-FIT-PM方法论 049 
3.3.4 专家规则模型对软件平台的需求 054 
3.4 本章小结 055 
参考文献 056 
第4章 设备故障诊断与健康管理（PHM） 058 
4.1 工业设备管理的现状与需求 058 
4.1.1 工业设备分类 059 
4.1.2 运维管理 060 
4.1.3 状态监测与故障诊断 062 
4.1.4 相关标准 064 
4.2 PHM的分析范畴与特点 066 
4.2.1 术语约定与名词辨析 066 
4.2.2 PHM的内容 067 
4.2.3 PHM的应用模式 069 
4.3 PHM分析问题定义：CRAB四步法 070 
4.3.1 业务上下文理解 070 
4.3.2 资源能力分析 072 
4.3.3 业务模式与技术方案分析 075 
4.3.4 执行路线 075 
4.4 PHM分析主题 077 
4.4.1 技术挑战 077 
4.4.2 技术路线 078 
4.4.3 传感器数据处理 080 
4.4.4 状态监测 088 
4.4.5 健康管理 091 
4.4.6 故障诊断 091 
4.4.7 故障预测 092 
4.4.8 运维优化 097 
4.4.9 专家规则引擎 099 
4.5 PHM的数据模型与应用架构 113 
4.5.1 PHM的数据模型 113 
4.5.2 PHM的应用架构 118 
4.6 本章小结 124 
参考文献 124 
第5章 生产质量分析（PQM） 126 
5.1 PQM的分析范畴与特点 126 
5.1.1 PQM的特点 126 
5.1.2 PQM分析场景 128 
5.1.3 PQM的5个层面 130 
5.1.4 PQM的应用 131 
5.2 PQM分析问题定义：CAPE方法 132 
5.2.1 业务上下文理解 132 
5.2.2 数据资产评估 136 
5.2.3 设计与计划 138 
5.2.4 部署与评估 140 
5.3 PQM分析主题 140 
5.3.1 基础分析 141 
5.3.2 质量时空模式分析 145 
5.3.3 质量异常预警 147 
5.3.4 控制参数优化 148 
5.3.5 质量根因分析 151 
5.4 PQM的数据模型与应用架构 152 
5.4.1 PQM的数据模型 152 
5.4.2 PQM的应用架构 156 
5.5 本章小结 157 
参考文献 159 
第6章 生产效率优化（PEM） 160 
6.1 PEM的分析范畴与特点 160 
6.1.1 PEM的内容 160 
6.1.2 PEM的常见误区 161 
6.2 PEM分析问题定义：SOFT方法 163 
6.2.1 PEM的要素 163 
6.2.2 PEM分析问题定义的SOFT方法 165 
6.2.3 PEM分析问题探索 168 
6.3 PEM分析主题 168 
6.3.1 能力规划 168 
6.3.2 生产计划与排程 169 
6.3.3 动态调整 171 
6.3.4 物耗能耗优化 171 
6.4 本章小结 173 
参考文献 173 
第7章 其他分析主题 175 
7.1 生产安全分析 175 
7.1.1 微观管理 175 
7.1.2 宏观管理 178 
7.2 营销优化分析 179 
7.3 研发数据分析 180 
7.4 本章小结 184 
参考文献 185 
第8章 工业大数据分析算法 186 
8.1 统计分析算法 186 
8.1.1 描述性统计 186 
8.1.2 推断统计 187 
8.2 机器学习算法 192 
8.2.1 回归 192 
8.2.2 分类 195 
8.2.3 聚类 196 
8.2.4 降维 197 
8.2.5 关联规则 198 
8.2.6 近期发展 198 
8.2.7 模型评价 203 
8.2.8 不同算法的要求 207 
8.3 时序数据挖掘算法 208 
8.3.1 时序分割 209 
8.3.2 时序分解 212 
8.3.3 时序再表征 217 
8.3.4 序列模式 219 
8.3.5 异常检测 223 
8.3.6 时序聚类 223 
8.3.7 时序分类 225 
8.3.8 时序预测 226 
8.3.9 可视化 227 
8.3.10 工具与应用 228 
8.4 工业知识图谱 230 
8.4.1 知识图谱的构建过程与应用技术 231 
8.4.2 知识图谱实践建议 232 
8.5 其他算法 234 
8.5.1 系统辨识算法 234 
8.5.2 运筹优化算法 235 
8.5.3 规则推理算法 237 
8.5.4 基于遗传算法的特征提取算法 238 
8.6 本章小结 240 
参考文献 240 
第9章 工业大数据平台技术 242 
9.1 工业大数据对平台的需求 242 
9.1.1 数据负载特性 243 
9.1.2 数据分析的特点 244 
9.1.3 数据应用的需求 246 
9.2 工业大数据平台架构 247 
9.2.1 功能架构 247 
9.2.2 关键技术 248 
9.3 数据接入 250 
9.3.1 时序数据接入 250 
9.3.2 非结构化数据接入 251 
9.3.3 时序数据消息队列 251 
9.3.4 数据ETL服务 252 
9.4 数据管理 252 
9.4.1 数据治理管理 252 
9.4.2 时序数据库（TSDB） 253 
9.4.3 时序数据仓库（TSDW） 253 
9.4.4 对象数据存储服务（OBJ） 255 
9.4.5 数据查询服务 256 
9.5 数据分析 256 
9.5.1 应用方式 259 
9.5.2 关键技术：分组识别和匹配技术 259 
9.5.3 关键技术：非侵入式封装技术 261 
9.6 本章小结 262 
参考文献 265 
第10章 工业大数据分析案例 266 
10.1 风电大数据分析 266 
10.1.1 概述 266 
10.1.2 实例一：运行边界探索用于设计优化 270 
10.1.3 实例二：机器学习用于运维优化 272 
10.1.4 实例三：风电机理与机器学习的深度融合 280 
10.1.5 小结 283 
10.2 透平设备智能运维 284 
10.2.1 业务问题 284 
10.2.2 故障预警知识库 286 
10.2.3 小结 288 
10.3 气化炉参数优化 289 
10.3.1 业务问题 289 
10.3.2 气化装置建模面临的技术挑战 290 
10.3.3 基于多模态学习的气化炉操作参数优化技术 292 
10.3.4 小结 299 
10.4 磨煤机堵磨预警 300 
10.4.1 业务问题 301 
10.4.2 磨煤机的动力学模型 302 
10.4.3 小结 310 
10.5 冲压排产优化 310 
10.5.1 业务问题 310 
10.5.2 冲压排产计划 311 
10.5.3 小结 314 
10.6 轨道车辆悬挂系统故障诊断 315 
10.6.1 业务问题 315 
10.6.2 问题描述 316 
10.6.3 技术挑战 317 
10.6.4 算法实现 319 
10.6.5 小结 322 
10.7 本章小结 323 
参考文献 324

本书以工业大数据的特点和需求为牵引，阐述了工业大数据分析的工程方法论，针对设备故障诊断与健康管理（Prognostics ＆ Health Management，PHM）、生产质量分析（Product Quality Management，PQM）、生产效率优化（Production Efficiency Management，PEM）等提出了具体的分析课题定义方法，给出了典型分析场景和算法框架，并系统总结了工业大数据领域的常用分析算法（特别是时序挖掘算法），*后以6个实际案例从不同方面诠释了工业大数据分析项目的复杂性和多样性，包括纯数据驱动、专家知识驱动、机器学习与机理模型结合等类型的分析课题，以期形成工业大数据分析的工程化方法体系。本书适合工业行业中从事数据分析、数字化转型、数据平台规划的专业人员阅读，也可为其他从事行业数据分析的专业人员及高等院校数据挖掘的研究人员提供参考。

田春华，博士，北京工业大数据创新中心首席数据科学家，曾在IBM中国研究院担任研究经理。专注数据挖掘算法、产品及行业应用开发工作，有丰富的行业实践经验，帮助装备制造、石油化工、电子制造、能源电力、航空与港口等领域的几十家国际和国内领先企业，成功实施资产管理、运营优化、营销洞察等数据分析项目。参与了多个工业大数据相关标准的制定工作、白皮书的编写工作、竞赛支持工作及多个国际学术会议的组织工作。发表学术论文近百篇，获得40余项国际和国内专利授权。